为什么要搭建NameNode HA？
因为hadoop中NameNode存在单节点故障。hadoop1.x 中的Secondarynamenode仅仅使用了合并namenode中的edit文件和fsimage文件（并做备份），防止edit文件过大，NameNode重启时会读取大量的编辑文件，导致启动很慢。但是它只是namenode的一个协助节点，在namenode出现故障后，不能由它来接手namenode。
NameNode HA原理
- 首先由两个namenode节点，为了保持两个NameNode内存中存储文件系统的系统元数据要同步(fsimage和edit等文件)。所以通过配置Quorum Journal Node节点，一个namenode节点向JN节点写入要共享的数据，另外一个namenode节点从JN节点读数据。为了保证共享数据的安全性，JN节点也为多个。
- 如果同时又两个namenode节点对外提供访问，会导致数据的不一致性。所以要保证一个为active状态，另外一个为standby(备用)状态。同时当active宕掉，为了standby能够迅速转换为active状态，所以datanode需要同时向这两个namenode节点发送数据位置信息和心跳。
- 需要配置隔离机制来保证有且仅有一个namenode对外提供服务。防止裂脑(两个namenode节点都可以命令datanode)的发生。
- 客户端不知道向哪一个namenode为活动状态，所以也不知道向哪一个节点发送请求。需要在前面加一层代理，让代理来决定访问哪一台机器。
- 前面的问题解决后，active和standby之前的切换必须手动。结合Zookeeper集群中Zookeeper faileover controller（ZKFC）故障转移监控器 来监控节点并自动的将standby切换到active。
HA配置步骤
- 对hdfs-site.xml文件进行配置，并分发到其余两个节点
<!-- 为这个namenode集群设置一个命名-->
<property>
<name>dfs.nameservices</name>
<value>ns1</value>
</property>
<!-- 这个nameservices节点下namenode的命名 -->
<property>
<name>dfs.ha.namenodes.ns1</name>
<value>nn1,nn2</value>
</property>
<!-- 配置两个namenode节点的位置 -->
<property>
<name>dfs.namenode.rpc-address.ns1.nn1</name>
<value>bigdata-00:8020</value>
</property>
<property>
<name>dfs.namenode.rpc-address.ns1.nn2</name>
<value>bigdata-01:8020</value>
</property>
<!-- 配置两台namenode外部web UI 端口 -->
<property>
<name>dfs.namenode.http-address.ns1.nn1</name>
<value>bigdata-00:50070</value>
<property>
</property>
</property>
<property>
<name>dfs.namenode.http-address.ns1.nn2</name>
<value>bigdata-01:50070</value>
</property>
<!-- 编辑日志文件存储的节点(JN) -->
<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://bigdata-00:8485;bigdata-01:8485;bigdata-02:8485/ns1</value>
</property>
<!-- 各个JN节点存放日志文件位置 -->
<property>
<name>dfs.journalnode.edits.dir</name>
<value>/opt/app/hadoop-2.5.0/data/dfs/jn</value>
</property>
<!-- 配置HDFS客户端去连接active namenode节点 -->
<property>
<name>dfs.client.failover.proxy.provider.ns1</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</va
lue>
</property>
<!-- 配置隔离机制-->
<property>
<name>dfs.ha.fencing.methods</name>
<value>sshfence</value>
</property>
<property>
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/home/wulei/.ssh/id_rsa</value>
</property>
- 对core-site.xml文件进行配置
<!-- 指定namenode存储元数据和日志文件的目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/app/hadoop-2.5.0/data/tmp</value>
</property>
<!-- 配置nameservices作为文件系统-->
<property>
<name>fs.defaultFS</name>
<value>hdfs://ns1</value>
</property>
- 每个节点启动journalnode和namenode服务
-
三个节点启动journalnode服务。
jn1.png - 对其中一个namenode进行格式化
[wulei@bigdata-00 hadoop-2.5.0]$ bin/hdfs namenode -format
- 启动namenode服务,查看节点状态
[wulei@bigdata-00 hadoop-2.5.0]$ sbin/hadoop-daemon.sh start namenode
starting namenode, logging to /opt/app/hadoop-2.5.0/logs/hadoop-wulei-namenode-bigdata-00.out
[wulei@bigdata-00 hadoop-2.5.0]$ jps
5095 JournalNode
5338 NameNode
5406 Jps
-
把nn1的fsimage文件同步到nn2上,再启动nn2中的namenode查看状态。
nn2.png
nn3.png - 手动切换nn1的状态为active，并启动三个datanode节点
$ bin/hdfs haadmin -transitionToActive nn1
- 测试两个namenode之间数据是否能同步(在active节点上创建目录，然后结束这个active nemenode节点，把另外一个standby节点转换为active节点，看是否能访问目录)
[wulei@bigdata-00 hadoop-2.5.0]$ bin/hdfs dfs -mkdir /test
[wulei@bigdata-00 hadoop-2.5.0]$ bin/hdfs dfs -ls /
Found 1 items
drwxr-xr-x - wulei supergroup 0 2016-10-21 10:31 /test
[wulei@bigdata-01 hadoop-2.5.0]$ bin/hdfs haadmin -transitionToActive nn2 --forceactive
[wulei@bigdata-01 hadoop-2.5.0]$ bin/hdfs dfs -ls /
Found 1 items
drwxr-xr-x - wulei supergroup 0 2016-10-21 10:31 /test
- 借助zookeeper集群来配置namenode HA自动故障转移
- 在部署好zookeeper集群后并启动进程
[wulei@bigdata-00 hadoop-2.5.0]$ jps
9155 QuorumPeerMain
[wulei@bigdata-01 hadoop-2.5.0]$ jps
5195 QuorumPeerMain
[wulei@bigdata-02 hadoop-2.5.0]$ jps
3886 QuorumPeerMain
- 对文件增加配置，并分发给其他节点
hdfs-site.xml
<!-- 启动自动故障转移功能-->
<property>
<name>dfs.ha.automatic-failover.enabled</name>
<value>true</value>
</property>
core-site.xml
<!-- zookeeper高可用的主机和端口-->
<property>
<name>ha.zookeeper.quorum</name>
<value>bigdata-00:2181,bigdata-01:2181,bigdata-02:2181</value>
</property>
- 初始化zookeeper HA状态，生成znode节点(每个节点对应一个目录)
[wulei@bigdata-00 hadoop-2.5.0]$ bin/hdfs zkfc -formatZK
- 客户端连接zookeeper，查看节点是否创建成功
[wulei@bigdata-00 hadoop-2.5.0]$ zookeeper-3.4.6/bin/zkCli.sh
[zk: localhost:2181(CONNECTED) 3] ls /
[zookeeper, hadoop-ha]
[zk: localhost:2181(CONNECTED) 4] ls /hadoop-ha
[ns1]
- 启动集群服务进程后，在两个namonode节点上启动ZKFC服务
[wulei@bigdata-00 hadoop-2.5.0]$ sbin/hadoop-daemon.sh start zkfc
[wulei@bigdata-01 hadoop-2.5.0]$ sbin/hadoop-daemon.sh start zkfc
-
查看两个namenode节点状态。可以发现已经通过选举自动选出了一个active，另外一个作为standby。
zk1.png
zk2.png - 启动resourcemanager和nodemanager。在active上运行mapreduce程序，中途关闭active的节点后，查看程序运行情况和nn2的状态。会发现程序任然可以执行，为standby状态的节点自动转换为active。
[wulei@bigdata-00 hadoop-2.5.0]$ bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar wordcount /test/in/ /test/out
