从零开始搭建大数据平台-CDH5.13.0搭建

虚拟机VBox-伪分布式版cdh-5.13.0-已经测试可用~~~~如有问题请联系我~~~

第一部分：搭建虚拟机主机

1.首先创建三个虚拟操作系统主机

hadoop01.mark.kevin 硬盘：150G 内存：6G

hadoop02.mark.kevin 硬盘：100G 内存：2G

hadoop03.mark.kevin 硬盘：100G 内存：2G

1.1开机之前，记得在VBox目标主机设置里，设置存储，修改为目标ISO文件

2.安装操作系统：CentOS-6.9-x86_64-minimal.iso

语言：中文-简体

键盘：美国-国际

地区：中国/上海

主机名：见上

root密码：Abcd1234

创建自定义布局：

删干净，创建标准分区

/boot 1024M 强制为主分区

swap 内存两倍（4096MB）

/ 剩余全部

网络配置：

BOOTPROTO=static

IPADDR=192.168.40.241 192.168.40.242 192.168.40.243

GATEWAWY=192.168.40.1

NETMASK=255.255.255.0

DNS1=8.8.8.8

DNS2=8.8.4.4

重启系统后别忘了修改Vbox的网络设定：改为桥接即可

将三台虚拟机搭建好并相互ping通，用Xshell进行以后的操作

将三台虚拟机全部设置好进入第二部分

第二部分：操作系统基础服务及软件配置

1.安装一些基本的插件（所有节点）

yum -y install vim

yum -y install lrzsz

yum -y install wget

yum -y install numactl

yum -y install ntp

2.关闭防火墙（所有节点）

1) 永久性生效，重启后不会复原

开启： chkconfig iptables on

关闭： chkconfig iptables off

2) 即时生效，重启后复原

开启： service iptables start

关闭： service iptables stop

3.永久关闭SELinux（否则samba可能不能访问）（所有节点）

修改配置文件

# vi /etc/selinux/config

将SELINUX=enforcing改为SELINUX=disabled

需要重启机器生效！！

getenforce 检查SELinux状态

setenforce 0 暂时关闭SELinux

4.设置主机host （所有节点）

vim /etc/hosts

192.168.40.241 hadoop01.mark.kevin hadoop01

192.168.40.242 hadoop02.mark.kevin hadoop02

192.168.40.243 hadoop03.mark.kevin hadoop03

windows端：

C盘 -- Windows -- System32 -- drivers -- etc -- hosts 添加上去

5.创建普通用户admin （所有节点）

创建：

adduser admin

（注意：

adduser：会自动为创建的用户指定主目录、系统shell版本，会在创建时输入用户密码。

useradd：需要使用参数选项指定上述基本设置，如果不使用任何参数，则创建的用户无密码、无主目录、没有指定shell ）

删除: userdel -rf admin

6.配置ssh无秘钥访问（master访问其他机器）（所有节点）

每台主机：

首先要修改主机和ssh连接到的远程机的配置文件：

vim /etc/ssh/sshd_config

（要确保这些字符前无注释符号“#”）(用 / 进行查找)

RSAAuthentication yes

PubkeyAuthentication yes

AuthorizedKeysFile .ssh/authorized_keys

PasswordAuthentication yes

PermitEmptyPasswords yes

hadoop01:

mkdir .ssh

chmod 700 .ssh

cd .ssh

touch authorized_keys

chmod 600authorized_keys

ssh-keygen -t rsa -P ''

（注释：-P表示密码，-P '' 就表示空密码，也可以不用-P参数，这样就要三车回车，用-P就一次回车。它在/home/chenlb下生成.ssh目录，.ssh下有id_rsa和id_rsa.pub。）

cat id_rsa.pub >> authorized_keys

测试一下：ssh hadoop01

然后继续分发秘钥

chmod u+xid_rsa.pub

scpid_rsa.pub 192.168.40.242:/home/admin/

scpid_rsa.pub 192.168.40.243:/home/admin/

hadoop02 hadoop03:

(我们后来为了将hadoop02作为备用主节点也将hadoop02配置的和hadoop01相同)

mkdir .ssh

chmod 700 .ssh

cd .ssh

touch authorized_keys

chmod 600authorized_keys

cat /home/admin/id_rsa.pub >> /root/.ssh/authorized_keys

rm -rf/home/admin/id_rsa.pub

测试hadoop01免密登录hadoop02 hadoop03

7.安装jdk1.8.0（推荐直接从官网里面找奇数版本-稳定版）（所有节点）

创建 /opt/softwares /opt/modules

mkdir /opt/softwares （用于放安装包）

mkdir /opt/modules （用于放软件目录）

下载版本为：jdk-8u151-linux-x64.tar.gz

tar -zxvf jdk-8u151-linux-x64.tar.gz -C /opt/modules/ (-v可以去掉)

vim /etc/profile

####################----BASIC------####################

#java jdk1.8.0_151

export JAVA_HOME=/opt/modules/jdk1.8.0_151

export JAVA_BIN=$JAVA_HOME/bin

export JRE_HOME=$JAVA_HOME/jre

export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export CLASSPATH=.:$JAVA_HOME/lib/mysql-connector-java-5.1.45-bin.jar

export PATH=$PATH:$JAVA_HOME/bin

#export JAVA_LIBRARY_PATH=/opt/cloudera/parcels/CDH/lib/hadoop/lib/native

把下载的jar包放进去

cp mysql-connector-java-5.1.45-bin.jar /opt/modules/jdk1.8.0_151/lib/

测试：

source /etc/profile

java -version

8.安装mysql (RPM包智能安装) 节点：hadoop01

版本：mysql-5.7.20-1.el6.x86_64.rpm-bundle.tar

mkdir /opt/softwares/mysql-untar

tar -xf mysql-5.7.20-1.el6.x86_64.rpm-bundle.tar ./mysql-untar/

检查过去的mysql包

rpm -qa | grep -i mysql

删除过去的包

rpm -ev mysql-libs-* --nodeps mysql-libs-5.1.73-8.el6_8.x86_64

cd mysql-untar/

rpm -ivh mysql-community-common-5.7.20-1.el6.x86_64.rpm

rpm -ivh mysql-community-libs-5.7.20-1.el6.x86_64.rpm

rpm -ivh mysql-community-client-5.7.20-1.el6.x86_64.rpm

rpm -ivh mysql-community-server-5.7.20-1.el6.x86_64.rpm

初始化mysql

mysqld --initialize --user=mysql

查看初始化密码：

cat /var/log/mysqld.log

启动服务

/etc/init.d/mysqld start

mysql -uroot -p

先修改密码

> set password = password('Abcd1234');

设置远程访问

> grant all privileges on *.* to 'root' @'%' identified by 'Abcd1234';

> flush privileges;

> quit;

设置mysql开机启动

chkconfig --add mysqld

chkconfig mysqld on

查看是否设置成功

chkconfig （都关闭（off）时是没有自动启动）

为了后面的hue，进行一下操作：

rpm -ivh mysql-community-libs-compat-5.7.20-1.el6.x86_64.rpm

yum install -y python-lxml

9.配置NTP服务（所有节点）

集群中所有主机必须保持时间同步，如果时间相差较大会引起各种问题

yum -y install ntp 安装相关组件

chkconfig ntpd on 配置开机启动

service ntpd start 开启服务

ntpstat 检查是否成功，用ntpstat命令查看同步状态

出现以下状态代表启动成功：

unsynchronised

polling server every 64 s

10.设置用户最大可打开文件数，进程数，内存占用（所有节点）

# vim /etc/security/limits.conf

* soft nofile 409600

* hard nofile 409600

* soft nproc 409600

* hard nproc 409600

11.安装Cloudera Manager之前的环境准备工作

安装方式：parcel包离线安装（安装方式有三种，正式的讲有四种，详情cloudera官网）

目标版本：CDH-5.13.0

操作系统：CentOS 6.9 minmal

系统环境准备：

1）几台机器的SSH互通

2）防火墙关闭

3）网络正常，IP地址固定，hosts配置正常

4）NTP服务正常

软件环境准备：

JDK：jdk1.8.0_151

mysql：mysql-5.7.20-1.el6.x86_64

JDBC驱动：mysql-connector-java-5.1.45-bin.jar

Cloudera Manager压缩包：cloudera-manager-el6-cm5.13.0_x86_64.tar.gz

CDH安装包：

CDH-5.13.0-1.cdh5.13.0.p0.29-el6.parcel

CDH-5.13.0-1.cdh5.13.0.p0.29-el6.parcel.sha1

manifest.json

安装包网址：

JDK：Oracle-jdk官网下载 tar包

mysql: MySQL官网下载

JDBC驱动：MySQL官网下载

CM包：http://archive.cloudera.com/cm5/cm/5/

CDH包：http://archive.cloudera.com/cdh5/parcels/5.13.0/

12.安装Cloudera Manager

一切准备就绪，开始安装~

解压安装（所有节点）

cloudera manager的目录默认位置在/opt下，将包导入并解压：

tar zxf cloudera-manager-el6-cm5.13.0_x86_64.tar.gz -C /opt/

创建cloudera-scm用户（所有节点）

useradd --system --home=/opt/cm-5.13.0/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

为Cloudera Manager 5建立数据库并初始化（主节点）

先将JDBC驱动 mysql-connector-java-5.1.45-bin.jar，放到/opt/cm-5.13.0/share/cmf/lib/中。

cp mysql-connector-java-5.1.45-bin.jar /opt/cm-5.13.0/share/cmf/lib/

初始化：（主节点）

/opt/cm-5.13.0/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -pAbcd1234 --scm-host localhost scm scm scm

修改agent配置文件（所有节点）

修改/opt/cm-5.12.0/etc/cloudera-scm-agent/config.ini中的server_host为主节点的主机名。

vim /opt/cm-5.13.0/etc/cloudera-scm-agent/config.ini

server_host=hadoop01

准备Parcels，用以安装CDH5

将CHD5相关的Parcel包放到主节点的/opt/cloudera/parcel-repo/目录中。

从零开始搭建大数据平台-CDH5.13.0搭建

推荐阅读更多精彩内容