Hadoop安装与集群配置

1.软件及版本

a.VMware Workstation Pro

b.CentOS-6.8-x86_64-minimal

c.hadoop-2.7.3.tar

d.jdk-8u91-linux-x64

e.XShell5

f.Xftp5

2.安装VMware

和正常软件一样双击安装

输入序列号

http://www.epinv.com/post/6304.html

3.配置虚拟机

安装注册完成后打开VMware进行虚拟网络的相关设置


注意圈出的地方,接下来是新建一个虚拟机




注意安装位置,虚拟机还是很占内存的,建议放在非系统盘

       磁盘大小不用纠结,不会占用你全部设置的大小,建议写大一点。这样一个裸机就建立完成了,下面要安装系统。


一定要注意选取启动时连接!单机确定完成这一步。接下来安装操作系统

4.安装操作系统

进入虚拟机,鼠标会消失,按住 CTL+ALT就可以显示鼠标。

进入虚拟机直接按回车


这一步是检查安装光盘,我们是文件,直接选择跳过


选择安装界面语言


选择系统语言


这一步选择基本存储设备即可


安装后整个磁盘之前的数据会被删除,我们是虚拟机本来就没有数据,选择YES


设置主机名,进入系统以后也会设置


选择时区


设置登录密码,至少六位,登陆名字是root不熟悉LINUX的需要注意


安装过程很快,三分钟左右


安装完成,重启虚拟机

5.网络设置


进入系统输入帐号密码,LINUX中密码是不显示的

本次配置集群用到的LINUX命令如下(老手直接略过):

指定IP地址

vi /etc/sysconfig/network-scripts/ifcfg-eth0

照着下面的图敲,注意HWADDR UUID每个机器是不同的

配置dns解析

echo "nameserver 114.114.114.114" >> /etc/resolv.conf

echo "nameserver 8.8.8.8" >> /etc/resolv.conf

设置主机名称

vi /etc/sysconfig/network


主机名地址映射

vi /etc/hosts


重启网络服务

service network restart

测试网络


输入任意网址,可以连接上就可以了

注意

这时,虚拟机并没有安装文本编辑器需要下载安装,命令如下

yum install vim -y  (耐心等待 三分钟左右完成) 

这时网络环境已经配置完成

6.安装配置Xshell 5 Xftp5

Xshell是远程登录软件,和直接在虚拟机上操作一样,只是操作方便且有附加功能。 

Xftp用于WINDOWS和LINUX之间文件传输

安装比较简单和QQ等常用软件类似,不占用篇幅,只介绍配置。

配置Xshell


新建远程连接




勾选记住用户名


单机确定连接完成

7.安装JDK HADOOP


单机这个图标打开Xftp


传文件很简单,双击即可,我将安装下载到/usr/local目录

安装JDK

1.进入文件目录:cd /usr/local

2.解压JDK:rpm -ivh ./jdk-8u91-linux-x64.jdk

3.输入java验证安装是否成功

4.配置环境变量:vim /etc/profile

```

JAVA_HOME=/usr/java/jdk1.8.0_91

JRE_HOME=/usr/java/jdk1.8.0_91/jre

PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin

CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib

export JAVA_HOME JRE_HOME PATH CLASSPATH

```

5.使环境变量生效

```

source /etc/profile

```

安装HADOOP

1.进入文件目录:cd /usr/local

2.解压HADOOP:tar –xvf ./hadoop-2.7.3.tar.gz

3.修改目录名称:mv hadoop-2.7.3 hadoop

4.修改hadoop-env.sh:vim /usr/local/hadoop/etc/hadoop/hadoop-env.sh

修改export JAVA_HOME 语句为 export JAVA_HOME=/usr/java/default

5.修改环境变量:vi /etc/profile

最后加上:export PATH=$PATH:/usr/hadoop/bin:/usr/hadoop/sbin

6.使环境变量配置生效:source /etc/profile

7.在任意目录测试hadoop命令 观察是否安装成功

8.关闭虚拟机复制3份



注意是创建完整克隆

9.开机后参照之前的步骤各自配置网络,主机名

注意:

配置hosts文件时每一个节点的IP以及hostname都要加上

ip分配如下


VMware克隆后,重启网络会出现问题,

解决方案如下:

首先,打开/etc/udev/rules.d/70-persistent-net.rules内容如下面例子所示:

# vi /etc/udev/rules.d/70-persistent-net.rules

# This file was automatically generated by the /lib/udev/write_net_rules

# program, run by the persistent-net-generator.rules rules file.

#

# You can modify it, as long as you keep each rule on a single

# line, and change only the value of the NAME= key.

# PCI device 0x1022:0x2000 (pcnet32)

SUBSYSTEM=="net", ACTION=="add", DRIVERS=="?*", ATTR{address}=="00:0c:29:8f:89:97", ATTR{type}=="1", KERNEL=="eth*", NAME="eth0"

# PCI device 0x1022:0x2000 (pcnet32)

SUBSYSTEM=="net", ACTION=="add", DRIVERS=="?*", ATTR{address}=="00:0c:29:50:bd:17", ATTR{type}=="1", KERNEL=="eth*", NAME="eth1"

记录下,eth1网卡的mac地址00:0c:29:50:bd:17

接下来,打开/etc/sysconfig/network-scripts/ifcfg-eth0

# vi /etc/sysconfig/network-scripts/ifcfg-eth0

将 DEVICE="eth0"  改成  DEVICE="eth1"  ,

将 HWADDR="00:0c:29:8f:89:97" 改成上面的mac地址  HWADDR="00:0c:29:50:bd:17"

最后,重启网络

# service network restart

正常了。

原文如下

10.集群配置

1.配置core-site.xml

在所有的节点上都应该修改:vim /etc/hadoop/core-site.xml


2.配置hdfs-site.xml

仅在master节点上配置


3.格式化HDFS

输入:hdfs namenode -format

11.启动集群

在master上:hadoop-daemon.sh start namenode

在slave上:hadoop-daemon.sh start datanode

分别各自输入JPS可以观察到:



出现以上的现象说明集群配置好了 关闭集群

hadoop-daemon.sh stop master(slaveX)

12.集中管理集群及免密钥登录

集中管理集群

修改master上slaves文件,每一个slave占一行

vim /usr/local/hadoop/etc/hadoop/slaves


免密钥登录配置

在slave上:

1.cd .ssh

2.ssh-keygen -t rsa (按四下回车) 

在目录下会出现私钥id_rsa和公钥id_rsa.pub


3.ssh-copy-id slave2  ;ssh-copy-id slave2  ;ssh-copy-id slave3  ;ssh-copy-id master

把生成的公钥copy到所有的节点上(包括master)。


在目录下会生成 authorized_keys 文件,这样就可以实现免密钥登录

用ssh X 测试。

启动集群

在master上:

启动集群:start-dfs.sh

停止集群:stop-dfs.sh

这样HADOOP HDFS集群搭建就大功告成了

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 159,117评论 4 362
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 67,328评论 1 293
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 108,839评论 0 243
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 44,007评论 0 206
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,384评论 3 287
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,629评论 1 219
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,880评论 2 313
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,593评论 0 198
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,313评论 1 243
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,575评论 2 246
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,066评论 1 260
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,392评论 2 253
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 33,052评论 3 236
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,082评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,844评论 0 195
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,662评论 2 274
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,575评论 2 270

推荐阅读更多精彩内容