- 安装JDK
- 设置ssh免密码登入
rsa密钥认证：
$ cd ~/.ssh #进入本机home目录
$ ssh-keygen -t rsa #生成本机id_rsa（私钥）、id_rsa.pub（公钥）
$ ssh-copy-id localhost #将公钥拷贝到要免登陆的机器上，切勿使用私钥
#此处localhost为远程主机的localhost
或dsa密钥认证：
$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa #用dsa密钥认证来生成一对公钥和私钥：
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys #将生成的公钥加入到用于认证的公钥文件中
#测试一下是否配置成功
$ ssh localhost
- 安装Hadoop2.7.3
- 第一步 安装Hadoop
上传hadoop的安装包hadoop-2.7.3.tar.gz到服务器上去/usr/download （自由选择路径）
$ tar -zxvf hadoop-2.7.3.tar.gz -C /usr/export/software/
- 第二步 配置hadoop
hadoop-2.7.3的搭建需要修改5个配置文件
$ cd /usr/export/software/hadoop-2.7.3/etc/hadoop
第一个：vi hadoop-env.sh
#第27行
export JAVA_HOME=/usr/java/jdk1.8.0_121
第二个：vi core-site.xml
<!-- 指定HADOOP所使用的文件系统schema（URI），HDFS的老大（NameNode）的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
<!-- 指定hadoop运行时产生文件的存储目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/export/data/hadoop/tmp</value>
</property>
注：若localhost已更换别名(如grape)，可以grape替换上述代码中的localhost；指定存储目录时，该路径自由分配
第三个：vi hdfs-site.xml
<!-- 指定HDFS副本的数量 -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
第四个：mapred-site.xml (改名后得到的文件)
# mapred-site.xml.template重命名
$ mv mapred-site.xml.template mapred-site.xml
$ vim mapred-site.xml
<!-- 指定mr运行在yarn上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
第五个：vi yarn-site.xml
<!-- 指定YARN的老大（ResourceManager）的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>localhost</value>
</property>
<!-- reducer获取数据的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
- 第三步 将hadoop添加到环境变量
$ vim /etc/profile
#hadoop
export HADOOP_HOME=/usr/export/software/hadoop-2.7.3 #选中hadoop路径
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
$ source /etc/profile
- 第四步 格式化namenode（是对namenode进行初始化）
$ hdfs namenode -format (hadoop namenode -format 已经过时，但是依然可用)
- 第五步 启动hadoop
$ cd /home/hadoop/app/hadoop-2.7.3/sbin#若已配置hadoop环境变量，直接在根目录下输入下一行代码
$ start-all.sh
Hadoop搭建到此结束，接下来是验证是否搭建成功
使用jps命令验证
出现以下结果，表明启动成功
[root@xxxxx sbin]# jps
6417 DataNode
7207 NodeManager
6920 ResourceManager
7258 Jps
6235 NameNode
6700 SecondaryNameNode
6.第六步 终止hadoop
$ cd /home/hadoop/app/hadoop-2.7.3/sbin #若已配置hadoop环境变量，直接在根目录下输入下一行代码
$ stop-all.sh
参考：
CentOS安装JDK 8
hadoop2.7.3伪分布式搭建之三------>Hadoop2.7.3的安装
Hadoop2.7.3的安装详细过程(伪分布式)
CentOS Linux 配置SSH密钥登录 配置笔记
