hadoop 完全分布式搭建指南

简述

hadoop 集群一共有4种部署模式，详见《hadoop 生态圈介绍》。
完全分布式模式将hadoop部署在至少两台机子上，数据块副本的数量通常也设置为2以上，拥有Namenode和Secondary Namenode。

所有四种模式的部署指南见：
hadoop 伪分布式搭建指南
 hadoop 完全分布式搭建指南
 hadoop HA高可用集群模式搭建指南
 hadoop HA+Federation（联邦）模式搭建指南

搭建过程

系统环境

Ubuntu 14.04 x64 Server LTS
Hadoop 2.7.2
vagrant 模拟三台主机，内存都为2G

节点角色

| IP |主机名 | 角色描述|
| --- | --- | --- | --- |
|192.168.100.201 | h01.vm.com | 主节点 NameNode, job-history-server |
|192.168.100.202 |h02.vm.com |主节点 Secondary-NameNode, (yarn)ResourceManager|
|192.168.100.203 | h03.vm.com| - |

另，以上所有节点都同时是 slave从节点，即 datanode。运行Namenode和ResourceManager的节点即为主节点。

更新软件源索引

分别在 h01 h02 h03 操作

sudo apt-get update

安装基础软件

分别在 h01 h02 h03 操作

sudo apt-get install ssh
sudo apt-get install rsync

配置主机域名

分别在 h01 h02 h03 操作

sudo vim /etc/hostname # centos系统可能没有该文件，创建即可
h01.vm.com # 该节点主机名

将该文件内容修改为对应的主机名，例如 h01.vm.com

域名解析

搭建内网DNS服务器（可选，但推荐），可阅读vincent的博文
http://blog.kissdata.com/2014/07/10/ubuntu-dns-bind.html
配置 /etc/hosts，将以下代码追加到文件末尾即可（如搭建了DNS服务器，则跳过此步骤）
分别在 h01 h02 h03 操作

sudo vim /etc/hosts
192.168.100.201 h01.vm.com h01
192.168.100.202 h02.vm.com h02
192.168.100.203 h03.vm.com h03

!!! Ubuntu系统，须删掉 /etc/hosts 映射 127.0.1.1/127.0.0.1 !!!
Check that there isn't an entry for your hostname mapped to 127.0.0.1 or 127.0.1.1 in /etc/hosts (Ubuntu is notorious for this).
127.0.1.1 h01.vm.com # must remove

不然可能会引起 hadoop、zookeeper 节点间通信的问题

时间同步（可选）

在内网中搭建 ntp 服务器，可阅读vincent的博文
http://blog.kissdata.com/2014/10/28/ubuntu-ntp.html

准备jdk、hadoop软件包

须到官方网站下载stable版本
jdk-7u79-linux-x64.tar.gz
hadoop-2.7.2.tar.gz
所有的软件包都统一解压到 /home/vagrant/VMBigData 目录下，其中 vagrant 是linux系统的用户名，由于我是使用 vagrant 虚拟的主机，所以默认是 vagrant
在 h01 操作

# 先在其中一台机子操作，后面会使用 scp 命令或者其他方法同步到其他主机
mkdir -p /home/vagrant/VMBigData/hadoop /home/vagrant/VMBigData/java
tar zxf jdk-7u79-linux-x64.tar.gz -C /home/vagrant/VMBigData/java
tar zxf hadoop-2.7.2.tar.gz -C /home/vagrant/VMBigData/hadoop

配置软连接，方便以后升级版本

在 h01 操作，后面通过 scp 同步到其他主机

ln -s /home/vagrant/VMBigData/java/jdk1.7.0_79/  /home/vagrant/VMBigData/java/default
ln -s /home/vagrant/VMBigData/hadoop/hadoop-2.7.2/  /home/vagrant/VMBigData/hadoop/default

配置环境变量

分别在 h01 h02 h03 操作

sudo vim /etc/profile
export HADOOP_HOME=/home/vagrant/VMBigData/hadoop/default
export JAVA_HOME=/home/vagrant/VMBigData/java/default
export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$PATH
source /etc/profile

配置免密码ssh登录

hadoop主节点需要能远程登陆集群内的所有节点（包括自己），以执行命令。所以需要配置免密码的ssh登陆。可选的ssh秘钥对生成方式有rsa和dsa两种，这里选择rsa。

分别在 h01 h02 ，即两个主节点上操作

ssh-keygen -t rsa -C "youremail@xx.com"
# 注意在接下来的命令行交互中，直接按回车跳过输入密码

以下命令将本节点的公钥 id_rsa.pub 文件的内容追加到远程主机的 authorized_keys 文件中（默认位于 ~/.ssh/）

ssh-copy-id vagrant@h01.vm.com # vagrant是远程主机用户名
ssh-copy-id vagrant@h02.vm.com # vagrant是远程主机用户名
ssh-copy-id vagrant@h03.vm.com

在 h01 h02 上测试无密码 ssh 登录到 h01 h02 h03

ssh h01.vm.com
ssh h02.vm.com
ssh h03.vm.com

!!! 注意使用rsa模式生成密钥对时，不要轻易覆盖原来已有的，确定无影响时方可覆盖 !!!

配置从节点

在 slaves 文件中配置的主机即为从节点，将自动运行datanode服务

在 h01 操作，后面通过 scp 同步到其他主机

vim /home/vagrant/VMBigData/hadoop/default/etc/hadoop/slaves
h01.vm.com 
h02.vm.com
h03.vm.com

建立存储数据的相应目录

在 h01 操作，后面通过 scp 同步到其他主机

mkdir -p /home/vagrant/VMBigData/hadoop/data/hdfs/tmp
mkdir -p /home/vagrant/VMBigData/hadoop/data/pid
mkdir -p /home/vagrant/VMBigData/hadoop/data/namenode
mkdir -p /home/vagrant/VMBigData/hadoop/data/namesecondary
mkdir -p /home/vagrant/VMBigData/hadoop/data/datanode1
mkdir -p /home/vagrant/VMBigData/hadoop/data/datanode2
mkdir -p /home/vagrant/VMBigData/hadoop/data/local-dirs
mkdir -p /home/vagrant/VMBigData/hadoop/data/log-dirs

配置hadoop参数

在 h01 操作，后面通过 scp 同步到其他主机

etc/hadoop/hadoop-env.sh

vim /home/vagrant/VMBigData/hadoop/default/etc/hadoop/hadoop-env.sh
# export JAVA_HOME=${JAVA_HOME} # 注意注释掉原来的这行
export JAVA_HOME=/home/vagrant/VMBigData/java/default
export HADOOP_PREFIX=/home/vagrant/VMBigData/hadoop/default
# export HADOOP_PID_DIR=${HADOOP_PID_DIR} # 注意注释掉原来的这行
export HADOOP_PID_DIR=/home/vagrant/VMBigData/hadoop/data/hdfs/pid
export YARN_PID_DIR=/home/vagrant/VMBigData/hadoop/data/hdfs/pid
# export HADOOP_SECURE_DN_PID_DIR=${HADOOP_PID_DIR} # 注意注释掉原来的这行
export HADOOP_SECURE_DN_PID_DIR=${HADOOP_PID_DIR}

etc/hadoop/mapred-env.sh

vim /home/vagrant/VMBigData/hadoop/default/etc/hadoop/mapred-env.sh
export HADOOP_MAPRED_PID_DIR=/home/vagrant/VMBigData/hadoop/data/hdfs/pid

vim /home/vagrant/VMBigData/hadoop/default/etc/hadoop/core-site.xml

<?xml version="1.0" encoding="utf-8"?>
<configuration> 
  <!-- 指定hdfs的nameservice为h01 -->  
  <property> 
    <name>fs.defaultFS</name>  
    <value>hdfs://h01.vm.com:9000</value> 
  </property>  
  <!-- 指定hadoop数据存储目录 -->  
  <property> 
    <name>hadoop.tmp.dir</name>  
    <value>/home/vagrant/VMBigData/hadoop/data/hdfs/tmp</value> 
  </property> 
</configuration>

vim /home/vagrant/VMBigData/hadoop/default/etc/hadoop/hdfs-site.xml

<?xml version="1.0" encoding="utf-8"?>
<configuration> 
  <property> 
    <name>dfs.replication</name>  
    <!-- 单机版的一般设为1，若是集群，一般设为3 -->  
    <value>2</value> 
  </property>  
  <property> 
    <name>dfs.namenode.name.dir</name>  
    <!-- 创建的namenode文件夹位置，如有多个用逗号隔开。配置多个的话，每一个目录下数据都是相同的，达到数据冗余备份的目的 -->  
    <value>file:///home/vagrant/VMBigData/hadoop/data/namenode</value> 
  </property>  
  <property> 
    <name>dfs.datanode.data.dir</name>  
    <!-- 创建的datanode文件夹位置，多个用逗号隔开，实际不存在的目录会被忽略 -->  
    <value>file:///home/vagrant/VMBigData/hadoop/data/datanode1,file:///home/vagrant/VMBigData/hadoop/data/datanode2</value> 
  </property>  
  <!-- 配置Secondary NameNode在另外一个节点上，该节点也将作为主节点之一 -->  
  <property> 
    <name>dfs.http.address</name>  
    <value>h01.vm.com:50070</value>  
    <description>Secondary get fsimage and edits via dfs.http.address</description> 
  </property>  
  <property> 
    <name>dfs.secondary.http.address</name>  
    <value>h02.vm.com:50090</value> 
  </property>  
  <property> 
    <name>dfs.namenode.checkpoint.dir</name>  
    <value>file:///home/vagrant/VMBigData/hadoop/data/hdfs/namesecondary</value> 
  </property> 
</configuration>

vim /home/vagrant/VMBigData/hadoop/default/etc/hadoop/yarn-site.xml

<?xml version="1.0" encoding="utf-8"?>
<configuration> 
  <property> 
    <name>yarn.resourcemanager.hostname</name>  
    <value>h02.vm.com</value> 
  </property>  
  <property> 
    <name>yarn.log-aggregation-enable</name>  
    <!-- 打开日志聚合功能，这样才能从web界面查看日志 -->  
    <value>true</value> 
  </property>  
  <property> 
    <name>yarn.log-aggregation.retain-seconds</name>  
    <!-- 聚合日志最长保留时间 -->  
    <value>86400</value> 
  </property>  
  <property> 
    <name>yarn.nodemanager.resource.memory-mb</name>  
    <!-- NodeManager总的可用内存，这个要根据实际情况合理配置 -->  
    <value>1024</value> 
  </property>  
  <property> 
    <name>yarn.scheduler.minimum-allocation-mb</name>  
    <!-- MapReduce作业时，每个task最少可申请内存 -->  
    <value>256</value> 
  </property>  
  <property> 
    <name>yarn.scheduler.maximum-allocation-mb</name>  
    <!-- MapReduce作业时，每个task最多可申请内存 -->  
    <value>512</value> 
  </property>  
  <property> 
    <name>yarn.nodemanager.vmem-pmem-ratio</name>  
    <!-- 可申请使用的虚拟内存，相对于实际使用内存大小的倍数。实际生产环境中可设置的大一些，如4.2 -->  
    <value>2.1</value> 
  </property>  
  <property> 
    <name>yarn.nodemanager.vmem-check-enabled</name>  
    <value>false</value> 
  </property>  
  <property> 
    <name>yarn.nodemanager.local-dirs</name>  
    <!-- 中间结果存放位置。注意，这个参数通常会配置多个目录，已分摊磁盘IO负载。 -->  
    <value>/home/vagrant/VMBigData/hadoop/data/localdir1,/home/vagrant/VMBigData/hadoop/data/localdir2</value> 
  </property>  
  <property> 
    <name>yarn.nodemanager.log-dirs</name>  
    <!-- 日志存放位置。注意，这个参数通常会配置多个目录，已分摊磁盘IO负载。 -->  
    <value>/home/vagrant/VMBigData/hadoop/data/logdir1,/home/vagrant/VMBigData/hadoop/data/logdir2</value> 
  </property>  
  <property> 
    <name>yarn.nodemanager.aux-services</name>  
    <value>mapreduce_shuffle</value> 
  </property>  
  <property> 
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>  
    <value>org.apache.hadoop.mapred.ShuffleHandler</value> 
  </property> 
</configuration>

vim /home/vagrant/VMBigData/hadoop/default/etc/hadoop/mapred-site.xml

<?xml version="1.0" encoding="utf-8"?>
<configuration> 
  <property> 
    <name>mapreduce.framework.name</name>  
    <value>yarn</value> 
  </property>  
  <property> 
    <name>yarn.app.mapreduce.am.resource.mb</name>  
    <!-- 默认值为 1536,可根据需要调整，调小一些也是可接受的 -->  
    <value>512</value> 
  </property>  
  <property> 
    <name>mapreduce.map.memory.mb</name>  
    <!-- 每个map task申请的内存，每一次都会实际申请这么多 -->  
    <value>384</value> 
  </property>  
  <property> 
    <name>mapreduce.map.java.opts</name>  
    <!-- 每个map task中的child jvm启动时参数，需要比 mapreduce.map.memory.mb 设置的小一些 -->  
    <!-- 注意：map任务里不一定跑java，可能跑非java（如streaming） -->  
    <value>-Xmx256m</value> 
  </property>  
  <property> 
    <name>mapreduce.reduce.memory.mb</name>  
    <value>384</value> 
  </property>  
  <property> 
    <name>mapreduce.reduce.java.opts</name>  
    <value>-Xmx256m</value> 
  </property>  
  <property> 
    <name>mapreduce.tasktracker.map.tasks.maximum</name>  
    <value>2</value> 
  </property>  
  <property> 
    <name>mapreduce.tasktracker.reduce.tasks.maximum</name>  
    <value>2</value> 
  </property>  
  <property> 
    <name>mapred.child.java.opts</name>  
    <!-- 默认值为 -Xmx200m，生产环境可以设大一些 -->  
    <value>-Xmx384m</value> 
  </property>  
  <property> 
    <name>mapreduce.task.io.sort.mb</name>  
    <!-- 任务内部排序缓冲区大小 -->  
    <value>128</value> 
  </property>  
  <property> 
    <name>mapreduce.task.io.sort.factor</name>  
    <!-- map计算完全后的merge阶段，一次merge时最多可有多少个输入流 -->  
    <value>100</value> 
  </property>  
  <property> 
    <name>mapreduce.reduce.shuffle.parallelcopies</name>  
    <!-- reuduce shuffle阶段并行传输数据的数量 -->  
    <value>50</value> 
  </property>  
  <property> 
    <name>mapreduce.jobhistory.address</name>  
    <value>h01.vm.com:10020</value> 
  </property>  
  <property> 
    <name>mapreduce.jobhistory.webapp.address</name>  
    <value>h01.vm.com:19888</value> 
  </property> 
</configuration>

将hadoop所需文件同步到其他主机

在 h01 上操作

scp -r /home/vagrant/VMBigData vagrant@h02.vm.com:/home/vagrant
scp -r /home/vagrant/VMBigData vagrant@h03.vm.com:/home/vagrant

!!! 注意：default 软连接需要重建 !!!

格式化namenode

在 h01 namenode 上执行

hdfs namenode -format

!!! 注意仅在首次启动时执行，因为此命令会删除hadoop集群所有的数据 !!!

启动hadoop集群，方法1（只能启动当前机器的服务）：

启动NameNode守护进程

在 h01 namenode 操作

cd  /home/vagrant/VMBigData/hadoop/default
sbin/hadoop-daemon.sh --script hdfs start namenode
# sbin/hadoop-daemon.sh --script hdfs stop namenode # 停止

启动所有从节点的DataNode守护进程

在 h01 h02 h03 操作

cd  /home/vagrant/VMBigData/hadoop/default
sbin/hadoop-daemon.sh --script hdfs start datanode
# sbin/hadoop-daemon.sh --script hdfs stop datanode # 停止

启动ResourceManager守护进程

在 h02 resourcemanager 操作

cd  /home/vagrant/VMBigData/hadoop/default
sbin/yarn-daemon.sh start resourcemanager
# sbin/yarn-daemon.sh stop resourcemanager # 停止

启动所有从节点的NodeManager守护进程

在 h01 h02 h03 操作

cd  /home/vagrant/VMBigData/hadoop/default
sbin/yarn-daemon.sh start nodemanager
# sbin/yarn-daemon.sh stop nodemanager # 停止

启动MapReduce JobHistory Server（可选）

在 h01 job history server 上操作

cd  /home/vagrant/VMBigData/hadoop/default
sbin/mr-jobhistory-daemon.sh start historyserver
# sbin/mr-jobhistory-daemon.sh stop historyserver # 停止

启动hadoop集群，方法2（推荐）：

可在任意主节点操作，以启动namenod和datanode等服务

cd  /home/vagrant/VMBigData/hadoop/default
sbin/start-dfs.sh
# sbin/stop-dfs.sh # 停止

在 h02 上启动 yarn 服务

cd  /home/vagrant/VMBigData/hadoop/default
sbin/start-yarn.sh
# sbin/stop-yarn.sh # 停止

在 h01 上启动 job history server（可选）

cd  /home/vagrant/VMBigData/hadoop/default
sbin/mr-jobhistory-daemon.sh start historyserver
# sbin/mr-jobhistory-daemon.sh stop historyserver # 停止

浏览服务启动情况

NameNode
http://192.168.100.201:50070

Secondary NameNode
http://192.168.100.202:50090

ResourceManager
http://192.168.100.202:8088

MapReduce JobHistory Server
http://192.168.100.201:19888

Datanode
http://192.168.100.201:50075
http://192.168.100.202:50075
http://192.168.100.203:50075

集群状态
hdfs dfsadmin -report

hadoop进程
jps

最后编辑于：2018.01.06 10:53:51

人面猴
序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
沈念sama阅读 157,012评论 4赞 359
死咒
序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
沈念sama阅读 66,589评论 1赞 290
救了他两次的神仙让他今天三更去死
文/潘晓璐我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
开封第一讲书人阅读 106,819评论 0赞 237
道士缉凶录：失踪的卖姜人
文/不坏的土叔我叫张陵，是天一观的道长。经常有香客问我，道长，这世上最难降的妖魔是什么？我笑而不...
开封第一讲书人阅读 43,652评论 0赞 202
港岛之恋（遗憾婚礼）
正文为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
茶点故事阅读 51,954评论 3赞 285
恶毒庶女顶嫁案：这布局不是一般人想出来的
文/花漫我一把揭开白布。她就那样静静地躺着，像睡着了一般。火红的嫁衣衬着肌肤如雪。梳的纹丝不乱的头发上，一...
开封第一讲书人阅读 40,381评论 1赞 210
城市分裂传说
那天，我揣着相机与录音，去河边找鬼。笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。我是一名探鬼主播，决...
沈念sama阅读 31,687评论 2赞 310
双鸳鸯连环套：你想象不到人心有多黑
文/苍兰香墨我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
开封第一讲书人阅读 30,404评论 0赞 194
万荣杀人案实录
序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
沈念sama阅读 34,082评论 1赞 238
护林员之死
正文独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋以下内容为张勋视角年9月15日...
茶点故事阅读 30,355评论 2赞 241
白月光启示录
正文我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
茶点故事阅读 31,880评论 1赞 255
活死人
序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
沈念sama阅读 28,249评论 2赞 250
日本核电站爆炸内幕
正文年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
茶点故事阅读 32,864评论 3赞 232
男人毒药：我在死后第九天来索命
文/蒙蒙一、第九天我趴在偏房一处隐蔽的房顶上张望。院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
开封第一讲书人阅读 26,007评论 0赞 8
一桩弑父案，背后竟有这般阴谋
文/苍兰香墨我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。一阵脚步声响...
开封第一讲书人阅读 26,760评论 0赞 192
情欲美人皮
我被黑心中介骗来泰国打工，没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。一个月前我还...
沈念sama阅读 35,394评论 2赞 269
代替公主和亲
正文我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
茶点故事阅读 35,281评论 2赞 259