Spark standalone模式安装运行和提交jar任务

本文讲述在一台Centos7笔记本中安装Spark standalone(spark运行需要jdk、scala和spark)和如何提交一个简单的任务到spark上。

一、Spark安装

1,从Oracle下载jdk-8u161-linux-x64.tar.gz到服务器上,由于下载jdk需要登陆Oracle官网,所以不方便用Wget;

下载scala:

wget https://downloads.lightbend.com/scala/2.10.6/scala-2.10.6.tgz

下载spark:

wget:http://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-2.4.3/spark-2.4.3-bin-hadoop2.7.tgz

2,配置环境变量,分别将jdk、scala和Spark解压,对应的解压命令如下,-C为解压到的目录。

tar -zvxf jdk-8u151-linux-x64.tar.gz -C /usr/java

tar -zvxf scala-2.10.6.tgz -C /usr/local/src

tar -zvxf spark-2.2.1-bin-hadoop2.7.tgz -C /usr/local/src

3,配置jdk、scala和Spark环境变量

vim /etc/profile

添加如下内容:

#set java environment

JAVA_HOME=/usr/java/jdk1.8.0_161

JRE_HOME=/usr/java/jdk1.8.0_161/jre

CLASS_PATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib

SCALA_HOME=/usr/local/src/scala-2.10.6/

SPARK_HOME=/usr/local/src/spark-2.4.3-bin-hadoop2.7/

PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin:$M2_HOME/bin:$SCALA_HOME/bin:$SPARK_HOME/sbin

export JAVA_HOME JRE_HOME CLASS_PATH PATH M2_HOME SCALA_HOME SPARK_HOME

4,在conf文件夹中配置spark-env.sh

cp spark-env.sh.template spark-env.sh

vim spark-env.sh 增加如下内容:

export JAVA_HOME=/usr/java/jdk1.8.0_161

export SCALA_HOME=/usr/local/src/scala-2.10.6/

export SPARK_HOME=/usr/local/src/spark-2.4.3-bin-hadoop2.7/

export SPARK_MASTER_IP=localhost

export SPARK_EXECUTOR_MEMORY=1G

5,启动Spark服务端

./sbin/start-all.sh  (启动master和worker,所以是standalone模式)

6,查看spark服务启动情况

jps

结果如下所示,成功启动后可以通过ip:8080访问spark web端,查看提交的任务情况。

[root@192 sbin]# jps

27910 Jps

4301 Master

4382 Worker

7,启动Spark-shell

./bin/spark-shell.sh

二、提交一个简单jar到Spark上。

制作jar包建议创建maven工程然后通过maven插件生成jar包,如果使用Spring boot 虽然生成jar包简单了,但是由于spring boot框架引入了太多jar包,很容易导致同Spark的相关jar冲突,到时候特别折腾。

1,创建maven工程,并指定jar的main函数,pom文件主要内容如下,主要是引入Spark依赖。

    <dependencies>

        <dependency> <!-- Spark dependency -->

            <groupId>org.apache.spark</groupId>

            <artifactId>spark-core_2.11</artifactId>

            <version>2.4.3</version>

        </dependency>

    </dependencies>

    <build>

        <plugins>

            <plugin>

                <groupId>org.apache.maven.plugins</groupId>

                <artifactId>maven-jar-plugin</artifactId>

                <version>2.4</version>

                <configuration>

                    <archive>

                        <manifest>

                            <mainClass>com.sparker.SimpleApp</mainClass>

                        </manifest>

                    </archive>

                </configuration>

            </plugin>

            <plugin>

                <groupId>org.apache.maven.plugins</groupId>

                <artifactId>maven-compiler-plugin</artifactId>

                <configuration>

                    <source>8</source>

                    <target>8</target>

                </configuration>

            </plugin>

        </plugins>

    </build>

2,java 统计输入文件中单词数量,其中要注意spark默认是从hdfs上读取文件,所以在linux服务器上输入本地文件路径的格式为file:///data/file/inputfile。另外该jar包的打包方式位将其依赖打包到jar中,因为服务器的classpath中有其依赖,所以可以不用打包的应用jar包中。

public class SimpleApp {

    public static void main(String[] args) {

        String filePath = args[0];

        String outPath = args[1];

        SparkConf sparkConf = new SparkConf().setAppName("wordcount");

        JavaSparkContext sc = new JavaSparkContext(sparkConf);

        //以空格切分英文单词

        JavaRDD<String> input = sc.textFile(filePath);

        JavaRDD<String> words = input.flatMap(x -> Arrays.asList(x.split(" ")).iterator());

        //转化为键值对操作/data/sparkdemo

        JavaPairRDD<String, Integer> count = words.mapToPair(x -> new Tuple2<>(x, 1)).reduceByKey((x, y) -> x + y);

        count.saveAsTextFile(outPath);

        sc.close();

    }

}

3,提交任务到spark上,注意看执行命令后的输出日志,是否有错误信息等。

./spark-submit --class com.sparker.SimpleApp --master spark://IP:7077 --executor-memory 1G --total-executor-cores 2 /data/sparkdemo/spark-test-1.0-SNAPSHOT.jar file:///data/sparkdemo/1.txt file:///data/sparkdemo/output.txt

相关问题说明:

1,在window上运行程序可能会出现

2019-06-15 17:53:34,094 ERROR [org.apache.hadoop.util.Shell] - Failed to locate the winutils binary in the hadoop binary path

java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.

错误,对于初学者可能会觉得会影响程序的执行,其实不会不用理会。

2,windows上执行找不到输入文件路径

关于在Spark集群中读取本地文件抛出找不到文件异常的问题,一般情况下,我们在本地ide里写好程序,打成jar包上传到集群取运行,有时候需要读取数据文件,这个时候需要注意,如果程序中读取的是本地文件,那么,要在所有的节点都有这个数据文件,只在master中有这个数据文件时,执行程序会一直报找不到文件。

解决方式1:让每个Worker节点的相应位置都有要读取的数据文件。

解决方式2:直接将数据文件上传到hdfs,达到数据共享。

推荐阅读更多精彩内容