spark提供了三种方式来配置:
Spark properties 控制应用的参数 可以使用SparkConf在程序中写明或java参数来控制
环境变量 是针对节点的 在conf/spark-env.sh下
Logging log4j.properties
Spark properties
可设置的选项:
spark.app.name app's name
spark.driver.cores
spark.driver.maxResultSize
spark.diver.memory
在client模式执行时应该使用java参数设置不能使用SparkConf
spark.executor.memory
spark.extraListeners
spark.local.dir 默认为/tmp
spark.logConf
spark.master
spark.submit.deployMode
spark.log.callerContext
spark.driver.supervise