1. 在windows下启动spark程序，报错如下
java.io.IOException: (null) entry in command string: null chmod 0644 C:\Users\xxxx\AppData\Local\...
或者如下错误
java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.
解决方式：
- 创建目录：D:\setup\hadoop 用来保存hadoop相关文件
- 从https://github.com/steveloughran/winutils.git下载相关文件，注意hadoop版本，我的是3.0.0，所有使用hadoop-3.0.0文件夹下的文件
- 把hadoop-3.0.0下的文件copy到D:\setup\hadoop
- 配置环境变量：HADOOP_HOME=D:\setup\hadoop path添加 %HADOOP_HOME%\bin
2. spark程序提交到集群，报NoClassDefFoundError: scala/runtime/LambdaDeserialize错误
如果程序在集群运行时，报如下错误
Caused by: java.lang.NoClassDefFoundError: scala/runtime/LambdaDeserialize
基本上是由于集群的spark使用的scala版本与本地编译时使用的版本不一致导致的。
通过集群环境执行spark-shell，可以看到集群使用的scala版本为2.11.12
[hadoop@lfg01 ~]$ spark-shell
Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
Setting default log level to "WARN".
To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).
Spark context Web UI available at http://lfg01:4040
Spark context available as 'sc' (master = local[*], app id = local-1571298365414).
Spark session available as 'spark'.
Welcome to
____ __
/ __/__ ___ _____/ /__
_\ \/ _ \/ _ `/ __/ '_/
/___/ .__/\_,_/_/ /_/\_\ version 2.4.4
/_/
Using Scala version 2.11.12 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_201)
Type in expressions to have them evaluated.
Type :help for more information.
scala>
所以，本地开发环境上，下载scala 2.11.12，修改idea的sdk为2.11.12，重新打包、上传即可。
