#转#Spark核心编程进阶-SparkConf、spark-submit以及spark-defaults.conf

默认的配置属性

spark-submit脚本会自动加载conf/spark-defaults.conf文件中的配置属性,并传递给我们的spark应用程序
加载默认的配置属性,一大好处就在于,我们不需要在spark-submit脚本中设置所有的属性
比如说,默认属性中有一个spark.master属性,所以我们的spark-submit脚本中,就不一定要显式地设置--master,默认就是local

SparkConf.getOrElse("spark.master", "local")

spark配置的优先级如下: SparkConf、spark-submit、spark-defaults.conf

spark.default.parallelism

SparkConf.set("spark.default.parallelism", "100")
spark-submit: --conf spark.default.parallelism=50
spark-defaults.conf: spark.default.parallelism 10

如果想要了解更多关于配置属性的信息,可以在spark-submit脚本中,使用--verbose,打印详细的调试信息

使用spark-submit设置属性

虽然说SparkConf设置属性的优先级是最高的,但是有的时候咱们可能不希望在代码中硬编码一些配置属性,否则每次修改了参数以后
还得去代码里修改,然后得重新打包应用程序,再部署到生产机器上去,非常得麻烦

对于上述的情况,我们可以在代码中仅仅创建一个空的SparkConf对象,比如: val sc = new SparkContext(new SparkConf())

然后可以在spark-submit脚本中,配置各种属性的值,比如

./bin/spark-submit
--name "My app"
--master local[4]
--conf spark.shuffle.spill=false
--conf "spark.executor.extraJavaOptions=-XX:+PrintGCDetails -XX:+PrintGCTimeStamps"
myApp.jar

这里的spark.shuffle.spill属性,我们本来如果是在代码中,SparkConf.set("spark.shuffle.spill", "false")来配置的
此时在spark-submit中配置了,不需要更改代码,就可以更改属性,非常得方便,
尤其是对于spark程序的调优,格外方便,因为调优说白了,就是不断地调整各种各样的参数,然后反复跑反复试的过程

spark的属性配置方式

spark-shell和spark-submit两个工具,都支持两种加载配置的方式
一种是基于命令行参数,比如上面的--master,spark-submit可以通过--conf参数,接收所有spark属性
另一种是从conf/spark-defaults.conf文件中加载,其中每一行都包括了一个key和value
比如spark.executor.memory 4g

所有在SparkConf、spark-submit和spark-defaults.conf中配置的属性,在运行的时候,都会被综合使用
直接通过SparkConf设置的属性,优先级是最高的,会覆盖其余两种方式设置的属性
其次是spark-submit脚本中通过--conf设置的属性
最后是spark-defaults.conf中设置的属性

通常来说,如果你要对所有的spark作业都生效的配置,放在spark-defaults.conf文件中,只要将spark-defaults.conf.template拷贝成那个文,然后在其中编辑即可
然后呢,对于某个spark作业比较特殊的配置,推荐放在spark-submit脚本中,用--conf配置,比较灵活
SparkConf配置属性,有什么用呢?也有用,在eclipse中用local模式执行运行的时候,那你就只能在SparkConf中设置属性了

这里还有一种特例,就是说,在新的spark版本中,可能会将一些属性的名称改变,那些旧的属性名称就变成过期的了
此时旧的属性名称还是会被接受的,但是新的属性名称会覆盖掉旧的属性名称,并且优先级是比旧属性名称更高的

举例来说
shuffle reduce read操作的内存缓冲块儿
spark 1.3.0: spark.reducer.maxMbInFlight
spark 1.5.0: spark.reducer.maxSizeInFlight

推荐阅读更多精彩内容