Spark Streaming实时流处理-2. Spark实战环境搭建

0. 目录

  1. Spark源码编译
  2. Spark环境搭建
  3. Spark简单使用

1. Spark源码编译

  • http://spark.apache.org/downloads.html
  • 下载Source Code源码
  • 使用tar -zxvf 解压文件
  • 查看构建文档:http://spark.apache.org/docs/latest/building-spark.html
  • 基于Maven进行构建 maven version > 3.3.9 && java version > 1.7+
  • export MAVEN_OPTS="-Xms2g -XX:ReservedCodeCacheSize=512m"
  • mvn编译命令:./build/mvn -Pyarn -Phadoop-3.1 -Phive -Phive-thriftserver -Dhadoop.version=3.1.0 -DskipTests clean package
  • spark build脚本:./dev/make-distribution.sh --name 2.6.0-cdh5.7.0 --tgz -Pyarn -Phadoop-2.6 -Phive -Phive-thriftserver -Dhadoop.version=3.1.0

推荐阅读更多精彩内容