##JDK & Maven & Scala & Git软件安装 & 前置准备**Spark 2.2.0源码的下载地址：**https://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-2.2.0/spark-2.2.0.tgz**编译Spark源码的文档(参考官方文档)：**http://spark.apache.org/docs/latest/building-spark.html**编译Spark源码的前置要求：**Maven 3.3.9 or newerJava 8+ScalaGit(后文会通过分析make-distribution.sh脚本，来阐述为何需要安装Git)**使用的软件的版本：**apache-maven-3.3.9-bin.tar.gzhadoop-2.6.0-cdh5.7.0.tar.gzjdk-8u91-linux-x64.tar.gzscala-2.11.8.tgz**关于maven本地仓库配置的建议：**maven的setting.xml文件配置 指定本地仓库的位置：```/home/hadoop/maven_repo```**解压Spark源码到/opt/source：**```$>tar -zxvf spark-2.2.0.tgz -C /opt/source```**Git的安装：**```$>sudo yum install git```##Building with Maven 配置在系统环境变量里(建议虚拟机的内存给大点)：```export MAVEN_OPTS="-Xmx2g -XX:ReservedCodeCacheSize=512m"```如果不配置，可能会遇到如下问题：```[INFO] Compiling 203 Scala sources and 9 Java sources to /Users/me/Development/spark/core/target/scala-2.11/classes...[ERROR] Java heap space -> [Help 1]```通过观察pom.xml，可以观察到编译Spark的时候，如果不手动指定hadoop与yarn的版本，会默认采用hadoop、yarn的版本因此，当我们使用命令：```$>./build/mvn -DskipTests clean package```编译所带的hadoop版本为2.6.5**Apache Hadoop 2.6.X**```$>./build/mvn -Pyarn -DskipTests clean package```**Apache Hadoop 2.7.X and later**```$>./build/mvn -Pyarn -Phadoop-2.7 -Dhadoop.version=2.7.3 -DskipTests clean package```**Building With Hive and JDBC Support**```$>./build/mvn -Pyarn -Phive -Phive-thriftserver -Phadoop-2.7 -Dhadoop.version=2.7.3 -DskipTests clean package```**support hadoop-2.6.0-cdh5.7.0**```$>./build/mvn -Pyarn -Phive -Phive-thriftserver -Phadoop-2.6 -Dhadoop.version=2.6.0-cdh5.7.0 -DskipTests clean package```##Building a Runnable Distribution & Analysis make-distribution.shmake-distribution.sh脚本的Github地址：https://github.com/apache/spark/blob/master/dev/make-distribution.sh分析make-distribution.sh： ```[--mvn ]表示可以跟上maven的相关命令；而-Dhadoop.version=2.6.0-cdh5.7.0 \-Phadoop-2.6 \-Phive -Phive-thriftserver \-Pyarn```这些就是maven的命令 发现需要检查Git，因此在前文中说在Spark源码编译之前需要安装Git这就是Building with maven中在Spark源码编译之前所需要设置的，在make-distribution.sh的脚本中，已经写进来了通过这个发现，maven的命令已经帮助我们”封装”好了，clean package -DskipTests这些全部在里面已经写好了；我们只需要加上maven的相关参数就可以了(这些参数被存在$MVN中)开启Spark源码编译的时候，会去检测一堆东西，这个过程是很漫长的因此我们需要对其进行相应的修改(将截图中的内容先全部注释掉，再加入下列内容)：```VERSION=2.2.0SCALA_VERSION=2.11SPARK_HADOOP_VERSION=2.6.0-cdh5.7.0SPARK_HIVE=1```使用下列命令，开启Spark源码的编译：```$> ./dev/make-distribution.sh \--name 2.6.0-cdh5.7.0 \--tgz \-Dhadoop.version=2.6.0-cdh5.7.0 \-Phadoop-2.6 \-Phive -Phive-thriftserver \-Pyarn```**关于make-distribution.sh脚本的补充：** 将一系列的内容拷贝到相应的目录下(如jar包、bin、sbin文件等，这里截图没截全，详细可以看脚本)会执行一系列的环境检查##编译中遇到的坑及排错使用make-distribution.sh脚本进行编译的时候，产生了报错：错误排查分析：http://maven.aliyun.com/nexus/content/groups/public/这里面的是Apache版本的hadoop，没有我们所指定的CDH版本的Hadoop，因此会找不到，才产生了报错。解决方案：修改pom.xml，制定CDH的仓库，加入下列内容：```clouderacloudera Repositoryhttps://repository.cloudera.com/artifactory/cloudera-repos/```##编译成功 & 结合make-distribution.sh脚本分析打印的信息编译成功的截图，如下：分析打印的信息：这些信息与打印出的信息一致，脚本中的参数可以使用echo $XX在命令行中进行版本的查看Spark 2.2.0安装包的名字：spark-2.2.0-bin-2.6.0-cdh5.7.0.tgz##关于编译方式选择的解读 & 总结使用maven-distribution.sh脚本进行编译，其实质也是使用了maven；但是直接按照官方文档上Building with maven中的方式进行编译，会出现一个问题：即不能得到tar.gz或者是tgz这个包的；而当我们使用make-distribution.sh脚本进行编译的时候，是可以打成包；同时，会将我们需要的jar包、bin、sbin、example、data等这些信息全部拷贝到一个目录里面去，然后打包就出来了。**因此在生产环境中，更多时候会选择使用make-distribution.sh对Spark源码进行编译**