角色分配

角色分配

软件准备

1.Vmware10

2.Centos7

3.jdk8

4.cloudera-manager-centos7-cm5.13.0_x86_64.tar.gz

5.CDH-5.13.0-1.cdh5.13.0.p0.29-el6.parcel（注意版本要对应）

6.CDH-5.13.0-1.cdh5.13.0.p0.29-el6.parcel.sha1（注意版本要对应）

7.mysql-connector-java.jar

Linux基础环境

1.配置hostname。

2.配置network。

3.配置hosts映射（三台虚拟机+ 宿主机都执行）。

4.关闭防火墙（三台都执行）。

5.禁用selinux（三台都执行）。

6.禁用ipv6（三台都执行）。

7.ulimit限制资源修改。

8.配置集群时间同步。

9.配置集群SSH免密登录。

10.安装MySQL（只在cm1上执行）。

部署Cloudera Manager

1.在三台机子上都安装Cloudera Manager运行和安装所需要的依赖。

yum -y install chkconfig pytahon bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb

2.在三台机子上分别创建安装目录。并将下载好的cloudera-manager.tar.gz解压。

mkdir -p /opt/cloudera-manager

tar -zxvf cloudera-manager-centos7-cm5.13.0_x86_64.tar.gz -C /opt/cloudera-manager/

3.修改cloudera-scm-agent的配置文件：/opt/cloudera-manager/cm-5.13.0/etc/cloudera-scm-agent/config.ini。将server_host的值修改为Server（cm1）的主机名或IP地址。

server_host值修改

4.将/opt/cloudera-manager/目录下的所有文件分发到所有agent节点。

scp -r /opt/cloudera-manager/* other-hostname:/opt/cloudera-manager/

5.初始化Cloudera Manager。

5.1首先创建MySQL用户并授权。

grant all privileges on *.* to 'cmf'@'%' identified by 'cmf' with grant option;

grant all privileges on *.* to 'cmf'@'cm1' identified by 'cmf' with grant option;

flush privileges;

5.2将mysql-connector-java-XXX.jar放到/usr/share/java目录下（没有先创建）。注意无论mysql-connentor-java-XXX.jar的名字是什么，最终在目录/usr/share/java目录下的名字必须是mysql-connector-java.jar。

5.3初始化元数据。

cd /opt/cloudera-manager/cm-5.13.0/share/cmf/schema

./scm_prepare_database.sh mysql -h cm1 -ucmf -pcmf --scm-host cm1 scm scm scm

6.配置parcel。

6.1Server。创建/opt/cloudera/parcel-repo目录并放入下载好的parcel文件（即CDH-5.13.0-1.cdh5.13.0.p0.29-el6.parcel和CDH-5.13.0-1.cdh5.13.0.p0.29-el6.parcel.sha1）。验证文件CDH-5.13.0-1.cdh5.13.0.p0.29-el6.parcel.sha1要重命名为CDH-5.13.0-1.cdh5.13.0.p0.29-el6.parcel.sha1。

mkdir -p /opt/cloudera/parcel-repo

mv /opt/software/CDH* /opt/cloudera/parcel-repo/

mv CDH-5.13.0-1.cdh5.13.0.p0.29-el6.parcel.sha1 CDH-5.13.0-1.cdh5.13.0.p0.29-el6.parcel.sha

6.2Agent。在每个Agent节点创建框架服务目录（注意cm1节点也是Agent节点），并创建相应用户。

mkdir -p /opt/cloudera/parcels

useradd --system --home=/opt/cloudera-manager/cm-5.13.0//run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

chown -R cloudera-scm:cloudera-scm /opt/cloudera

启动

1.启动Server。

cd /opt/cloudera-manager/cm-5.13.0/etc/init.d/

./cloudera-scm-server start

2.启动Agent。

cd /opt/cloudera-manager/cm-5.3.6/etc/init.d/

./cloudera-scm-agent start

查看

1.Web UI。访问cm1:7180即可。用户名密码默认admin。

2.日志。查看可能出现的问题。

tail -f /opt/cloudera-manager/cm-5.13.0/log/cloudera-scm-server/cloudera-scm-server.log

tail -f /opt/cloudera-manager/cm-5.13.0/log/cloudera-scm-agent/cloudera-scm-agent.log

安装服务

都是见名知意的词，没什么难理解的，看着字儿安装即可。