--------"道路是曲折的,前途是光明的。"
此笔记旨在做备份和记录，也希望为和我一样迷茫的你偶尔点一下睛。欢迎各位深度君一起交流学习：）
1 CaffeOnSpark是什么？
CaffeOnSpark简言之是雅虎开源的一款基于hadoop/spark的分布式深度学习框架，其集Caffe和Spark之长用于大规模分布式深度学习，意在使得深度学习训练和测试能被嵌入到Spark应用程序中。
2 配置CaffeOnSpark
1) 下载CaffeOnSpark
使用命令下载CaffeOnSpark源代码
$ git clone https://github.com/yahoo/CaffeOnSpark.git --recursive
这个源代码包里内置了caffe的源代码包，供接下来编译caffe使用。
2) 配置hadoop和Spark(详见ubuntu14.04 Spark On Yarn集群安装配置)
３) 安装NVIDIA驱动以及ＣＵＤＡ８．０
详情：参考官网和网上教程
４) 安装maven
Apache Maven，这是一个软件（特别是Java软件）项目管理及自动构建工具，由Apache软件基金会所提供。之所以需要用到这个，是在编译CaffeOnSpark时makefile里面的命令用到了mvn，这个在github网站的教程里并没有提到。
a、确保已经安装好jdk
b、到maven官网下载apache-maven-3.3.9-bin.tar.gz
c、解压缩到~/workspace中
$ tar -xzf apache-maven-3.３.９-bin.tar.gz
d、修改环境变量
$ sudo vim ~/.bashrc
在末尾添加
$ export M2_HOME=/[maven安装目录]/apache-maven-3.2.3
$ export PATH=$M2_HOME/bin:$PATH
使环境变量生效
$ source ~/.bashrc
e、检测是否安装成功
$ mvn -v
出现如下结果则表示成功：
Apache Maven 3.3.9 (bb52d8502b132ec0a5a3f4c09453c07478323dc5; 2015-11-11T00:41:47+08:00) Maven home: /home/ubuntu/workspace/maven Java version: 1.7.0_79, vendor: Oracle Corporation Java home: /home/ubuntu/workspace/jdk1.7.0_79/jre Default locale: en_US, platform encoding: UTF-8 OS name: "linux", version: "4.2.0-42-generic", arch: "amd64", family: "unix"
５) 配置Caffe(GPU)
(1) 安装依赖库（一）
$ sudo apt-get install libprotobuf-dev libleveldb-dev libsnappy-dev libopencv-dev libhdf5-serial-dev protobuf-compiler
$ sudo apt-get install --no-install-recommends libboost-all-dev
(2) 安装BLAS
$ sudo apt-get install libatlas-base-dev#（or install OpenBLAS or MKL for better CPU performance）
(3) 安装python(一般ubuntu14.04自带，可用python --version来检测一下)
(4) 安装matlab（详细安装步骤可参考！！！ubuntu14.04 MATLAB R2015b 安装）
从六维空间上下载matlab R2015a-linux-x64.iso，安装的时候选择使用key安装，key:KEY：01488-19946-57529-02811-46082-55250-36732-07842-48636-26144-34646-49703-29004-61854-13013-57205-32516，安装完成后激活MATLAB，选择联网激活，导入的lib文件下载附件。
(5) 安装opencv(opencv版本>=2.4)
本文所选择的opencv是最新版本opencv2.4.13，因为之前没有GPU，配置的是opencv3.1.0,但在加上cuda8.0之后总是编译出错，所以选择直接用脚本来安装opencv2.4.13。
opencv安装脚本
卸载opencv3.1.0的方法： cd到你在CMAKE时新创建的目录下，比如我的是~/workspace/opencv3.1.0/release,然后执行：cat install_manifest.txt | sudo xargs rm 原理即把安装在install_manifest.txt中的所有东西都删除均可。
下载脚本后,因为我的系统是ubuntu的，所以接下来的操作针对ubuntu，若你的系统是其他版本请自行根据脚本选择(__)
$ cd Install-OpenCV-master/Ubuntu
$ chmod +x * //添加可执行权限
$ ./opencv_latest.sh
接下来等待大约30分钟，注意有一步输入密码，输入用户密码即可。
已配置过opencv，可用如下命令查询其安装版本
$ pkg-config --modversion opencv
(6) 安装依赖库（二）
$ sudo apt-get install libgflags-dev libgoogle-glog-dev liblmdb-dev
(7)下载Caffe
'$ cd ~/workspace'
$ git clone git://github.com/BVLC/caffe.git
(8) 编译Caffe
$ cd ~/workspace/caffe
$ cp Makefile.config.example Makefile.config //修改Makefile.config文件
$ make all
$ make test
$ make runtest
注意：若需要重新编译caffe，请先make clean，否则易出错。
(9) 配置pycaffe（可选）
a、安装依赖库
$ sudo apt-get install python-numpy python-scipy python-matplotlib python-sklearn python-skimage python-h5py python-protobuf python-leveldb python-networkx python-nose python-pandas python-gflags Cython ipython
$ sudo apt-get install protobuf-c-compiler protobuf-compiler
b、编译
$ cd ~/workspace/caffe
$ make pycaffe
c、添加~/caffe/python到$PYTHONPATH
$ sudo vim ~/.bashrc
末尾添加
$ export PYTHONPATH=/[caffe的完整路径]/caffe/python:$PYTHONPATH
$ source ～/.bashrc //使之生效
$ sudo reboot //永久生效
d、测试是否可以引用
$ python
出现python版本，如
Python 2.7.6 (default, Jun 22 2015, 17:58:13) [GCC 4.8.2] on linux2 Type "help", "copyright", "credits" or "license" for more information.
>>> import caffe
(10) 配置matcaffe
a、编译：
$ cd ~/workspace/caffe
修改Makefile.config文件，
MATLAB_DIR := /usr/local/MATLAB/R2015a
$ make matcaffe
b、添加工作空间：
$ sudo matlab -nodesktop -nosplash
>>> addpath ~/workspace/caffe/matlab
>>> savepath
6) 配置CaffeOnSpark
(1) 首先在CaffeOnSpark/caffe-public下重新编译一下caffe,之后修改makefile与makefile.config的修改同之前caffe配置教程一致，另外在makefile.config文件中加入：
INCLUDE_DIRS += ${JAVA_HOME}/include
(2) 编译CaffeOnSpark
$ cd ~/CaffeOnSpark
$ make build
因为会下载很多东西，过程比较长，若出现编译错误（主要与maveb相关）,可能是网络的原因，待网络状况好了之后再重新make build 便可。
(3) 编译结束之后，再执行如下两条命令
export LD_LIBRARY_PATH=${CAFFE_ON_SPARK}/caffe-public/distribute/lib:${CAFFE_ON_SPARK}/caffe-distri/distribute/lib
export LD_LIBRARY_PATH=${LD_LIBRARY_PATH}:/usr/local/cuda-7.0/lib64:/usr/local/mkl/lib/intel64/
(4)测试
根据github网站上教程的例子进行测试，能正常运行说明配置已成功。
参考：github-CaffeOnSpark
Know more,do more,do better!
