搭建Spark集群(三)——搭建Hadoop集群环境

上一次分享已经把CentOS 7 系统安装到Master虚拟机上,下面就是安装JDK,搭建Hadoop集群,如果在安装时,网络环境没有配置好,可以参照下面配置网络环境来进行设置

1 添加hadoop用户

安装时,只添加了root用户,而后面需要用到ssh免密码通信,为了避免暴漏太多了权限,我们可以新建一个名为hadoop的用户
#添加hadoop用户
useradd hadoop
passwd hadoop
(按照提示输入密码)

2 配置网络环境

2.1 关闭防火墙

 systemctl status firewalld.service  --查看防火墙状态
 systemctl stop firewalld.service  --关闭防火墙
 systemctl disable firewalld.service  --永久关闭防火墙
 systemctl status firewalld.service  --再查看防火墙状

2.2 设置静态IP地址

CentOS 7最小化安装是没有ifconfig指令的,而是采用ip指令,想继续使用ifconfig指令需要自己安装:

 yum upgrade
 yum install net-tools

ip指令与ifconfig的对照可参考下图:

使用ip指令,查看网络连接情况,输入ip link指令,可查看网络连接情况


修改配置文件,设定固定IP地址
切换到root账户下

  cd /etc/sysconfig/network-scripts/
  vi ifcfg-enp0s3

把IP地址设为192.160.1.160(自己预先想好每台虚拟机的IP方案)

  HWADDR=08:00:27:51:74:6A  --根据每台虚拟机的MAC地址设置
  TYPE=Ethernet
  BOOTPROTO=static  --static表示固定IP地址
  DEFROUTE=yes
  IPV4_FAILURE_FATAL=no
  IPV6INIT=yes
  IPV6_AUTOCONF=yes
  IPV6_DEFROUTE=yes
  IPV6_FAILURE_FATAL=no
  NAME=enp0s3
  UUID=ed8d2360-aaee-4a86-ace2-fc531df48970  --每台虚拟机都有自己的UUID
  ONBOOT=yes 
  IPADDR0=192.168.1.160  --设置固定IP地址
  PREFIX0=24
  GATEWAY0=192.168.1.1  --
  DNS1=2**.9*.1**.3*  --DNS根据自己网络来设置
  IPV6_PEERDNS=yes
  IPV6_PEERROUTES=yes      

2.3 使用WinSCP、Xshell工具

设定好固定IP后,就可以通过XShell和WinSCP工具来远程访问这台虚拟机了,其中XShell是一个终端工具类似于Putty(根据个人喜好来选择也行),WinSCP工具可以直接上传文件到虚拟机上,方便在windows 7里下载相关的安装文件,然后上传到虚拟机里。使用方法很简单,新建连接后,输入IP地址即可,这里是输入192.168.1.160,其他配置不需要修改


确定后输入帐号密码即可登录。WinSCP的使用类似,同样输入IP地址、帐号以及密码后,即可访问,然后可以直接上传东西,使用非常方便

3 安装JDK

可通过下面的命令查看现在的系统是否已经安装了jdk,如果安装了,可以卸载后,从官网下载安装最新的JDK,在我写这篇文章时,最新的JDK是jdk-8u45版本,我这下载的是jdk-8u45-linux-x64.rpm,下载下来后,用WinSCP上传即可

3.1 查看和卸载已安装的JDK

首先切换到root用户。通过这个命令可查看现在系统已经安装的JDK(如果无安装,则无结果显示)rpm -qa | grep jdk


卸载已经安装的jdk可通过这一命令rpm -e --nodeps jdk-1.7.0_79-fcs.x86_64

3.2 安装最新的JDK

进入jdk安装包所在目录


增加rpm的可执行权限并执行rpm安装jdk

 chmod +x jdk-8u45-linux-x64.rpm
 rpm -ivh jdk-8u45-linux-x64.rpm


一般情况下,jdk都是安装到/usr/java目录下


出现上图所示表示已经安装成功,接下来就是对java环境变量进行配置

3.3 配置JAVA环境变量

编辑/etc/profile文件,这里使用vim命令进行编辑(前面都是用vi,但发现vi的显示效果不是很好,所以后面安装了vim,安装方法可自行百度查看)

 vim /etc/profile
 #在文件最后添加一下内容:
 export JAVA_HOME=/usr/java/jdk1.7.0_79
 export JAVA_BIN=/usr/java/jdk1.7.0_79/bin
 export PATH=$PATH:$JAVA_HOME/bin
 export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
 export JAVA_HOME JAVA_BIN PATH CLASSPATH

添加完后按Esc键退出编辑状态,接着输入:wq进行保存,返回后,可输入source /etc/profile使其立即生效,同时通过命令java -version检查是否安装设置成功

4 安装配置Hadoop2.6.0

进入hadoop-2.6.0.tar.gz文件所在目录,解压文件,并把文件移动到/opt目录下(我的hadoop-2.6.0.tar.gz文件是在/home/hadoop/tools目录下,可以根据自己的实际情况cd到文件所在目录)

 cd /home/hadoop/tools
 tar -xvzf hadoop-2.6.0.tar.gz
 mv hadoop-2.6.0 /opt
 cd /opt/
 ##赋予hadoop用户修改hadoop-2.6.0的权限
 chown -R hadoop:hadoop hadoop-2.6.0

4.1 配置hadoop环境变量

编辑/etc/profile文件,在末尾添加如下两行:

 export HADOOP_HOME=/opt/hadoop-2.6.0
 export PATH=$PATH:$HADOOP_HOME/bin

添加完后,使用source /etc/profile命令,是其立即生效

4.2 添加hdfs和tmp文件夹

进入hadoop所在目录cd /opt/hadoop-2.6.0

 mkdir hdfs
 mkdir tmp
 cd hdfs
 mkdir data
 mkdir name

4.3 修改hadoop配置文件

修改hadoop的配置文件主要包括下面几个

  • hadoop-env.sh
  • yarn-env.sh
  • mapred-env.sh
  • slaves
  • core-site.xml
  • hdfs-site.xml
  • mapred-site.xml
  • yarn-site.xml

未完待续。。。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 158,847评论 4 362
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 67,208评论 1 292
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 108,587评论 0 243
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 43,942评论 0 205
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,332评论 3 287
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,587评论 1 218
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,853评论 2 312
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,568评论 0 198
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,273评论 1 242
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,542评论 2 246
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,033评论 1 260
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,373评论 2 253
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 33,031评论 3 236
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,073评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,830评论 0 195
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,628评论 2 274
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,537评论 2 269

推荐阅读更多精彩内容