文档记录了大家cdh的过程
1.集群节点5台
hostname ip mem cpu dish
hadoop001 192.168.*.** 8G 2*E5620 4*2TB
hadoop002 192.168.*.** 8G 2*E5620 4*2TB
hadoop003 192.168.*.** 1G 2*E5620 2*2TB
hadoop004 192.168.*.** 7G 2*E5620 2*2TB
hadoop005 192.168.*.** 8G 2*E5620 2*2TB
2.角色分配：
集群server节点：001
集群agent节点：001,hadoop002,hadoop003,hadoop004,hadoop005
3.集群基础配置说明：
所有节点配置要求：
| 序号 | 项目 | 配置细节 |
|---|---|---|
| 1 | Linux OS | CentOS 6.5 |
| 2 | 配置163yum源 | 1. cd /etc/yum.repos.d 2. mv CentOS-Base.repo CentOS-Base.repo.backup 3. wget http://mirrors.163.com/.help/CentOS6-Base-163.repo 4. mv CentOS6-Base-163.repo CentOS-Base-163.repo 5. yum clean all 6. yum makecache |
| 3 | 磁盘挂载 | 系统盘：各目录正常分配，剩余磁盘空间全部分给目录/data 数据磁盘：一个数据磁盘挂载为一个目录，直接挂载到根目录下，为：/data1….../data12 |
| 4 | 磁盘IO优化 | 需要使用noatime选项挂载磁盘，表示执行读操作时，不更新文件的访问时间，可以显著提供性能。 |
| 5 | 增加Linux打开文件数 | ulimit –a可查看：open files (-n) 655350 ulimit打开文件数目增加到：655350 |
| 6 | 永久关闭linux swap | cat /proc/sys/vm/swappiness sysctl -w vm.swappiness=0 vi /etc/sysctl.conf vm.swappiness=0 sysctl -p /etc/sysctl.conf |
| 7 | 永久关闭SElinux | vim /etc/sysconfig/selinux setenforce 0 |
| 8 | 取消CPU节能模式 | 取消CPU的节能运行模式 |
| 9 | 网络配置 | 配置外网、内网IP、DNS，Gateway。 如果没有本地yum server，服务器需要访问外网，通过yum从外网安装软件包。 |
| 10 | hostname | hostname命名规则按照运维部门规定，不要包含横线、下划线。 例如：hadoop001 vim /etc/sysconfig/network HOSTNAME=hadoop001 |
| 11 | 多网卡绑定 | 将多块网卡做绑定，只需要内网IP，不需要外网IP |
| 12 | 用户权限配置 | 详见附录：用户权限配置说明 |
| 13 | ntp服务配置 | 详见附录：ntp服务配置 |
| 14 | 安装rpcbind postgresql-server |
yum install -y postgresql-server rpcbind 配置服务rpcbind开机启动：chkconfig rpcbind on |
| 15 | 设置hosts |
vim /etc/hosts 192.168.28.100 hadoop001 192.168.28.76 hadoop005 |
| 16 | 下载安装文件 | 1.下载地址详见附录：安装文件下载地址 (当前文件已经下载到目录：hadoop001:/opt/hadoop-install) 2.分发到各个节点 |
| 17 | 安装rpm包（所有节点） | 进入目录： 1.cd /opt/hadoop-install/cm/5.3.2/RPMS/x86_64 2.执行：rpm -ivh ./*.rpm |
| 18 | 复制parcel（仅hadoop001节点） | 下载:http://archive.cloudera.com/cdh5/parcels/5.3.2/下的文件： 1.CDH-5.3.2-1.cdh5.3.2.p0.10-el6.parcel 2.CDH-5.3.2-1.cdh5.3.2.p0.10-el6.parcel.sha1 3.manifest.json 将这三个文件copy到 hadoop001:/opt/cloudera/parcel-repo目录下 4.修改文件名称 mv CDH-5.3.2-1.cdh5.3.2.p0.10-el6.parcel.sha1 CDH-5.3.2-1.cdh5.3.2.p0.10-el6.parcel.sha |
| 19 | 配置cloudera-scm-server自启动 | 执行：chkconfig cloudera-scm-server on |
附录
2.配置NTP服务
集群中所有主机必须保持时间同步，具体思路如下：
hadoop001节点作为ntp服务器主节点与外界对时中心同步时间,所有节点以hadoop001节点为基础同步时间。
1.所有节点：yum install ntp
2.配置开机启动：chkconfig ntpd on
检查是否设置成功：chkconfig --list
ntpd 其中2-5为on状态就代表成功。
3.主节点配置
在配置之前，先使用ntpdate手动同步一下时间
执行：ntpdate -u 65.55.56.206
配置文件位置：vi /etc/ntp.conf
# ntp服务只有一个配置文件，不需要的配置都用#注掉
driftfile /var/lib/ntp/drift
restrict 127.0.0.1
restrict -6 ::1
restrict default nomodify notrap
server 65.55.56.206 prefer
server 0.centos.pool.ntp.org iburst
server 1.centos.pool.ntp.org iburst
server 2.centos.pool.ntp.org iburst
server 3.centos.pool.ntp.org iburst
includefile /etc/ntp/crypto/pw
keys /etc/ntp/keys
4.启动服务，执行如下命令： service ntpd start
5.检查是否成功，用ntpstat命令查看同步状态，出现以下状态代表启动成功：
synchronised to NTP server () at stratum 2
time correct to within 74 ms
polling server every 128 s
6.配置ntp客户端（所有agent节点）
配置文件位置：vi /etc/ntp.conf
driftfile /var/lib/ntp/drift
restrict 127.0.0.1
restrict -6 ::1
restrict default kod nomodify notrap nopeer noquery
restrict -6 default kod nomodify notrap nopeer noquery
#这里是主节点的主机名或者ip
server hadoop001
includefile /etc/ntp/crypto/pw
keys /etc/ntp/keys
手动同步一下时间： ntpdate -u hadoop001 (主节点ntp服务器)
6.启动服务： service ntpd start
3.安装文件下载地址：
cm-installer:
http://archive-primary.cloudera.com/cm5/installer/5.3.2/cloudera-manager-installer.bin
cm-repo-tar:
http://archive-primary.cloudera.com/cm5/repo-as-tarball/5.3.2/cm5.3.2-centos6.tar.gz
cdh-repo-tar:
http://archive-primary.cloudera.com/cdh5/repo-as-tarball/5.3.2/cdh5.3.2-centos6.tar.gz
cm-tar
http://archive-primary.cloudera.com/cm5/cm/5/cloudera-manager-el6-cm5.3.2_x86_64.tar.gz
parcel
http://archive.cloudera.com/cdh5/parcels/5.3.2/CDH-5.3.2-1.cdh5.3.2.p0.10-el6.parcel
http://archive.cloudera.com/cdh5/parcels/5.3.2/CDH-5.3.2-1.cdh5.3.2.p0.10-el6.parcel.sha1
参考资料：
官方doc：
http://www.cloudera.com/content/cloudera/en/documentation/core/latest/topics/cm_ig_intro_to_cm_install.html
http://www.cnblogs.com/oftenlin/p/4217670.html
确保安装准备工作已经做完
启动cloudera-scm-server
1.用root用户在hadoop001上执行：
service cloudera-scm-server start 命令
2.登录页面：
http://192.168.28.100:7180/
用户名，密码：admin,admin
按照安装向导进行集群安装，配置
