单机版Spark在Mac上简装笔记[0]

之前在Windows上装,不顺利。这几天跟同时聊天,知道Mac上很简单。于是就试试看。(同时知道了Windows terminal比Mac terminal 慢得多不是我的错觉)结果真是超傻瓜,赶快记录下这个瞬间。

首先是下载下载传送门

官方简介简介传送门

安装流程:

1. 点击下载传送门,在“Download Spark”的三个下拉框里选择。(我分别选的当时最新的1.3.1,Pre-build for 2.6, Direct Download)

2. 点击“4. Download Spark: xxxxx” 的链接就可以下载了(大概247MB)。

3. 解压下载好的tgz文件,并将这个文件夹(spark-1.3.1-bin-hadoop2.6)放到你想存放的地方(比如“/Users/username/IDE/spark-1.3.1-bin-hadoop2.6”)。

4. 然后这就算装好了,你敢信!


不信咱就跑跑看。

1. [启动主机]点开官方简介传送门,聚焦标题“Starting a Cluster Manually”。 你可以看到主机启动命令,复制它:

./sbin/start-master.sh

2. 回到Finder,右键点击刚才解压并移动过的文件夹,点击最下面的“New Tab Terminal at Folder”. 在命令框里黏贴上面那条命令。回车。出来2,3行路径。这时候主机已经开始运行了。

3. 打开浏览器。 输入下面的默认端口就能看见主机运行情况了。

http://localhost:8080 (懒惰的你也可以直接点击它)

4. [加子嗣]现在的主机是个光杆司令,要给他派兵啊。

在官方简介“Starting a Cluster Manually”下复制命令

./bin/spark-class org.apache.spark.deploy.worker.Worker spark://IP:PORT

回到terminal命令行,点击右上角的“+”号。打开一个拥有同样路径的新界面。黏贴复制的命令,按后退键删除掉 spark://IP:PORT (别急着回车!我们要贴上自己的主机地址。)

回到浏览器的“http://localhost:8080/”页面

复制第二行黑体字URL:后面的部分,“spark://xxxx:xxxx”也就是你的主机地址。前四个x是一串字符,冒号后的四个x是四个数字。(这里我们是在同一个电脑上创建主机和子嗣。如果你是把别的电脑当作子嗣加入主机,那么要求主机和子嗣是在同一个网络中。同样,需要在spark文件夹路径下打开terminal输入相应的命令)

URL:spark://xxxx:xxxx

5. 这样整条命令就变成“./bin/spark-class org.apache.spark.deploy.worker.Worker spark://xxxx:xxxx” 安心的拍下回车吧!

6. 刷刷几页信息跳过后,这个窗口就像死了机一样了。别担心,这是因为这个命令端已经作为子嗣为你刚建立的主机开始卖命了。不信的话你刷新一下主机信息网页。

http://localhost:8080

在“Workers”列表下赫然出现了你的第一个子嗣。其状态State为ALIVE。表示它正在运作。这时候你需要记住,当前Terminal的窗口对应就是那个刚加入的Worker Id。

7. [删除子嗣]工作干完了,把小崽子们放出去玩吧。只需要在那个看似死机了teminal里按下“Ctrl + C”就行了。

这时候命令行回复工作,而主机信息网页刷新后会将对应子嗣的state改成DEAD。说明和子嗣的联系切断了。此信息回保留一段时间,然后会被完全删除。

8. [关闭主机]

和启动主机一样,在主文件夹路径下输入相应命令即可。

./sbin/stop-master.sh

这时http://localhost:8080/ 刷新后就是空网页了。

如果你有没有关闭的子嗣。在其terminal窗口中会显示其试图重连主机的信息。如果你再次打开主机(而且port号没变的话),没关的子嗣会重新连上去。

==============================

小结 Sum up:

0.知道怎么在Mac上装Spark。(就是解压缩嘛!)

1.知道怎么建立和关闭主机。(一个命令)

2.知道怎么建立子嗣连上主机。(查好主机URL然后一个命令)

3.知道怎么关闭子嗣。(在相应terminal中拍“Ctrl+C”)

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 157,298评论 4 360
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 66,701评论 1 290
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 107,078评论 0 237
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 43,687评论 0 202
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,018评论 3 286
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,410评论 1 211
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,729评论 2 310
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,412评论 0 194
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,124评论 1 239
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,379评论 2 242
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 31,903评论 1 257
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,268评论 2 251
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 32,894评论 3 233
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,014评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,770评论 0 192
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,435评论 2 269
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,312评论 2 260

推荐阅读更多精彩内容