Spark的安装(基于Mac)

一、简介


1.1内容

在mac电脑上成功安装spark(不用预先安装hadoop),并在jupyter上使用pyspark来操作spark。

1.2 知识点

  • jdk的安装
  • spark和pyspark的安装
  • 虚拟环境的内核

1.3 环境

本文所有的环境变量是在.bash_profile.zshrc中配置的

vim ~/.bash_profile   # 编辑文件
source ~./bash_profile   # 更新文件

一、安装Java JDK的dmg文件

spark目前暂不支持JDK-9,所以选择下载最新的JDK-8版本
官网下载(慢)
国内下载(快)
下载完成之后,直接点击jdk-8.dmg文件安装,并添加对应的环境变量

export JAVA_HOME="/Library/Java/JavaVirtualMachines/jdk1.8.0_151.jdk/Content    s/Home"
export PATH="$JAVA_HOME/bin:$PATH"

在Terminal中输入java查看安装结果


二、安装Spark&pyspark

2.1下载

> brew install apache-spark
> sudo -H pip install pyspark --user

2.2配置

apache-spark的默认安装位置:/usr/local/Cellar/apache-spark/2.2.0,其版本为目前最新的2.2.0版

# spark的配置

export SPARK_PATH="/usr/local/Cellar/apache-spark/2.2.0"
export PATH="$SPARK_PATH/bin:$PATH"

2.3运行

在Terminal中,输入pyspark查看安装是否成功


三、pyspark的ipython环境

在jupyter notebook中使用pyspark,需要配置环境变量

# 基于python的版本,配置2或3
export PYSPARK_PYTHON="/Library/Frameworks/Python.framework/Versions/3.5/bin/python3.5"
export PYSPARK_DRIVER_PYTHON="/Library/Frameworks/Python.framework/Versions/3.5/bin/ipython3"
export PYSPARK_DRIVER_PYTHON_OPTS="notebook"
alias pysbook='$SPARK_PATH/bin/pyspark'

在terminal中输入pyspark或者pysbook(别名),可以直接运行带spark的ipython notebook。


参考链接:
【1】 stack overflow上的java环境配置
【2】 在mac上搭建spark+ipython环境
【3】Spark学习(一) -- Spark安装及简介
【4】mac下Spark的安装与使用
【5】Spark安装和配置

推荐阅读更多精彩内容