操作系统环境centos6.7 x86_64
jdk版本：1.8.0_172（java 最低版本1.7）
hadoop：2.8.5
hadoop的默认native lib是32位，所以在启动和使用hdfs命令时会出现如下信息，
Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
如果只是使用hadoop的非hdfs的功能，可以通过日志信息屏蔽掉这个提示；如果要使用hdfs的功能，就需要重新编译hadoop。hadoop的下载地址：http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.8.5/，编译hadoop之前，需安装一些组件：
1，安装组件
#yum install –y autoconf automake libtool
#yum install –y glibc-headers
#yum install –y gcc
#yum install –y gcc-c++
#yum install –y lzo-devel zlib-devel
#yum install –y openssl-devel
2，安装cmake
下载地址：http://www.cmake.org/files/v2.8/cmake-2.8.10.2.tar.gz，安装路径为/opt/cmake
#mkdir -p /opt/cmake
#cd /opt/cmake
#wget http://www.cmake.org/files/v2.8/cmake-2.8.10.2.tar.gz
# tar -xvf cmake-2.8.10.2.tar.gz
#ln -s cmake-2.8.10.2 cmake
#cd cmake
# ./bootstrap
#gmake
#gmake install
3，安装protobuf
下载地址：https://github.com/protocolbuffers/protobuf/releases?after=v3.0.0-alpha-1（hadoop-2.8.5使用protobuf的最低版本是2.5）
#mkdir –p /opt/protobuf
#tar –xvf protobuf-2.5.0.tar
#ln –s protobuf-2.5.0 protobuf
#./configure --prefix=/usr/protobuf
#make
#make install
安装完成，将protobuf配置到环境变量，可以在/etc/profile文件末尾添加，然后测试一下安装：
#protoc –version
输出内容：libprotoc 2.5.0
4，安装maven
使用maven3.0.0以上版本，下载地址：http://www-eu.apache.org/dist/maven/maven-3/3.5.4/binaries/apache-maven-3.5.4-bin.tar.gz，安装之前确保已配置java环境变量。
#mkdir -p /opt/maven
#wget http://www-eu.apache.org/dist/maven/maven-3/3.5.4/binaries/apache-maven-3.5.4-bin.tar.gz
#tar –xvf apache-maven-3.5.4-bin.tar.gz
#ln –s apache-maven-3.5.4 maven
将maven以同样的方式添加到系统环境变量，并配置maven镜像，可以是apache，或则ali的镜像。
5，编译hadoop
#mkdir -p /opt/hadoop
#cd /opt/hadoop
#tar -xvf hadoop-2.8.5-src.tar.gz
#ln –s hadoop-2.8.5-src hadoop-src
#cd hadoop-src
#mvn package -Pdist,native -DskipTests -Dtar
等待hadoop编译完成，在hadoop-disk/target下，可以看到编译完成的hadoop文件
将hadoop-2.8.5拷贝到/opt/hadoop/下
#cp hadoop-2.8.5 /opt/hadoop/
#cd /opt/hadoop
#ln -s hadoop-2.8.5 hadoop
6，配置伪分布式hadoop
按照haddop官网的配置方式，实现最简配置：
1，编辑hadoop-env.sh，在文件中配置如下信息：
export JAVA_HOME=/usr/jdk/instances/jdk1.8.0_172
export HADOOP_LOG_DIR=/opt/hadoop/logs/pid_dir
export HADOOP_PID_DIR=/opt/hadoop/logs/pid
2，编辑core-site.xml，在configuration节点下添加如下内容
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/hadoop/tmp</value>
</property>
3，编辑hdfs-site.xml，在configuration节点下添加如下内容
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
4，设置面密码登录
#ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
#cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
#chmod 0600 ~/.ssh/authorized_keys
5，初始化
#cd /opt/hadoop/hadoop/bin
#./hadoop namenode -format
6，启动
#cd /usr/hadoop/hadoop/sbin
#./start-ds.sh
服务启动后，检查是否存在warning信息，同时使用http://localhost:50070/查看
