CDH集群添加Spark2

1、安装前停掉集群和关闭Cloudera Management Service

2、上传CSD包到机器的/opt/cloudera/csd目录,并且修改文件的用户和组。注意如果本目录下有其他的jar包,把删掉或者移到其他目录(每台机器)

[root@hadoop001 ~]# cd /opt/cloudera/csd/

rz上传SPARK2_ON_YARN-2.2.0.cloudera1.jar

[root@hadoop001 csd]# chgrp cloudera-scm SPARK2_ON_YARN-2.2.0.cloudera1.jar

[root@hadoop001 csd]# ls -la

total 28

drwxr-xr-x 2 cloudera-scm cloudera-scm  4096 Oct 24 12:08 .

drwxr-xr-x 6 cloudera-scm cloudera-scm  4096 Oct 23 13:53 ..

-rw-r--r-- 1 root        cloudera-scm 17240 Oct 24 11:19 SPARK2_ON_YARN-2.2.0.cloudera1.jar

[root@hadoop001 csd]# chown cloudera-scm SPARK2_ON_YARN-2.2.0.cloudera1.jar

[root@hadoop001 csd]# ls -la

total 28

drwxr-xr-x 2 cloudera-scm cloudera-scm  4096 Oct 24 12:08 .

drwxr-xr-x 6 cloudera-scm cloudera-scm  4096 Oct 23 13:53 ..

-rw-r--r-- 1 cloudera-scm cloudera-scm 17240 Oct 24 11:19 SPARK2_ON_YARN-2.2.0.cloudera1.jar

3、上传parcel包到机器的/opt/cloudera/parcel-repo目录下。注意,。如果有其他的安装包,不用删除 ,但是如果本目录下有其他的重名文件比如manifest.json文件,把它重命名备份掉。然后把那3个parcel包的文件放在这里。

4、启动服务和集群

5、在parcels中添加spark

6、然后在添加服务中可以看到spark2,点击继续

7、巨坑

        由于spark2需要jdk版本是1.8以上,而之前安装的jdk为1.7,所以在安装spark2 之前需要将jdk升级(每台机器)

        升级完之后在集群中设置

1)选择主机-->所以主机-->配置

2)选择高级,设置java主目录后重启集群

8、安装完成

推荐阅读更多精彩内容