pySpark 从0搭建(ubuntu16.04)

1,下载

spark-2.3.0-bin-hadoop2.7

hadoop-2.8.1/

2,配置

export JAVA_HOME=/usr/jdk1.8.0_171

export HADOOP_CONF_DIR=/usr/hadoop-2.8.1/etc/hadoop

export SPARK_HOME=/usr/spark-2.3.0-bin-hadoop2.7

#export SPARK_LOCAL_IP=192.168.0.104

#export SPARK_MASTER_IP=192.168.0.104

export SPARK_MASTER_IP=192.168.0.104

export SPARK_MASTER_PORT=7077

export SPARK_WORKER_CORES=1

export SPARK_WORKER_MEMORY=1G    #内存设置根据自身调整,可以100m

export SPARK_WORKER_INSTANCES=1

export SPARK_LOCAL_IP=192.168.0.104

3, 重要

vim /etc/hostname

vim /etc/hosts

查看本地地址:

127.0.1.1 绑定的端口,是外部访问不到的。

修改成0.0.0.0

4,测试

spark-shell

start-all.sh

推荐阅读更多精彩内容