引言
机器学习模型，如nb, svm, xgboost, gdbt, crf 等，是进行分类，排序，回归的常用工具。目前，有许多机器学习的工具性platform，如sklearn等，提供一系列训练和预测模型的工具，适当的运用好工具，不仅可以提高工作效率，模型的train和predict的实战训练，也可以帮助更好的理解机器学习模型的原理。今天介绍笔者使用spark 的platform进行native bayes的训练和预测过程。
之所以选择spark训练nb，是考虑到算法本身的效能。相比于sklearn，spark中的NativeBayes 模型的input可以为sparse vector的格式。这对于数量级较大，特征较多的训练数据，是非常使用的。笔者之前就遇到用sklearn训练时的memory Error的情况。由于训练数据量巨大，100w样本*20w特征，使用dense vector的model就会遇到memory error的情况.
环境安装
spark支持scala，java和py脚本。本人选用了scala脚本，在安装scala之前，首先需要安装java.
java 的安装
首先，在官网下载合适的jdk. 官网链接: https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html 需要根据工作环境选择windows和linux对应的jdk版本.
由于笔者工作在linux环境，因此下载: jdk-8u301-linux-x64.tar.gz
注意，如果第一次在官网下载，需要先进行注册，安装要求进行注册并登录即可。
将jdk解压在自己的路径下，笔者的路径为/home/**/soft/
解压过后，在~/.bashrc 设置环境变量，设置完毕之后不要忘记 source ~/.bashrc.
set java environment
JAVA_HOME=mypath/jdk1.8.0_301
JRE_HOME=$JAVA_HOME/jre
CLASS_PATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib
PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
export JAVA_HOME JRE_HOME CLASS_PATH PATH
测试是否安装成功：
使用命令 java -version
出现类似： java version "1.8.0_301"Java(TM) SE Runtime Environment (build 1.8.0_301-b09)Java HotSpot(TM) 64-Bit Server VM (build 25.301-b09, mixed mode)
表明安装成功.
scala 的安装
安装java过后，就可以安装scala了.
在官网通过download的指引进行scala的安装. Scala 官网地址 http://www.scala-lang.org/downloads
spark的安装
最后，要说到spark的安装。
在spark 官网 http://spark.apache.org/downloads.htm 下载tgz文件，解压缩之后，就可以运行文件夹里面的相关脚本了
训练和预测
input 文件的准备
spark的model需要的file的格式符合libsvm格式即可。也就是：
label index1:value1 index2:value2 index3:value3 的格式
需要注意的是，spark的input要求index需要从1开始(注意不是从零)升序排列。
训练脚本的编写
scala训练脚本主要参考https://spark.apache.org/docs/2.2.0/mllib-naive-bayes.html 里面的即可，笔者的训练脚本nb.scala如下:
import org.apache.spark.mllib.classification.{NaiveBayes, NaiveBayesModel}
import org.apache.spark.mllib.util.MLUtils
import java.io._
val version = "_v1"
val data = MLUtils.loadLibSVMFile(sc, "/<mypath>/data/sample_out" + version + ".tsv")
val Array(training, test) = data.randomSplit(Array(0.9, 0.1))
val model = NaiveBayes.train(training, lambda = 1.0, modelType = "multinomial")
model.save(sc, "/<mypath>/mods/nbv1" + version + ".mod")
val predictionAndLabel = test.take(120000).map(p => (model.predict(p.features), p.label))
val accitem = predictionAndLabel.filter(x => x._1 == x._2)
println("the predict accuary:" + accitem.length/predictionAndLabel.length)
val pw = new PrintWriter(new File("/<mypath>/modres/preres" + version + ".tsv" ))
# 将预测结果写入preres文件
for (i <- 0 until predictionAndLabel.length)
pw.println(predictionAndLabel(i)._1 + "\t" + predictionAndLabel(i)._2);
pw.close()
运行及结果预测
运行scala脚本不能按照常规的思路，使用scala 命令，而是要使用 ./bin/spark-shell(参考:http://spark.apache.org/docs/1.2.0/quick-start.html#self-contained-applications).
在解压后的spark文件夹下：运行 bin/spark-shell < nb.scala 就可以正常进行训练了
根据nb.scala的编写内容，预测结果和正确的label已经被写入了文件preres_v1.tsv中, 将preres_v1.tsv的predict list 和true list 读取出来，然后通过sklearn的classification_report就可以预测出每个类别的p/r, f1值了.
