手把手部署CDH(5.12.1)完全离线模式安装超级详细攻略

前言

搭建小型BI大数据计算集群，由于资源有限（你懂的）部署的模式为CDH官方建议的最低配版本，没有配备HA，（我们还是相信惠普的服务器 此处手动滑稽）。

CDH背景

CDH (Cloudera's Distribution, including Apache Hadoop)，是Hadoop众多分支中的一种，由Cloudera维护，基于稳定版本的Apache Hadoop构建，并集成了很多补丁，可直接用于生产环境。

系统环境

Master * 1： 128G + 16C + 1T

Slave * 9：64G + 16C + 1T

Cloudera Manager：5.12.1

CDH: 5.12.1

安装说明

官方参考文档：

https://www.cloudera.com/documentation/enterprise/latest/topics/installation.html

官方共给出了3种安装方式：

方法一：必须要求所有机器都能连网，由于各种国外的网站被墙的厉害，尝试了几次各种超时错误，耽误时间不说，一旦失败，重装非常痛苦。

方法二：下载很多包，不方便容易迷路。

方法三：对系统侵入性最小,可实现全离线安装，而且重装非常方便。后期的集群统一包升级也非常好。（本篇采用该方法安装）

相关包的下载地址

Cloudera Manager下载地址：

http://archive.cloudera.com/cm5/cm/5/cloudera-manager-el6-cm5.12.1_x86_64.tar.gz

CDH安装包地址：http://archive.cloudera.com/cdh5/parcels/latest/，由于我们的操作系统为CentOS6.5，需要下载以下文件：

CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel

CDH-5.12.1-1.cdh5.12.1.p0.3-el6.pacel.sha1

manifest.json

manifest.json下载方法如下图所示

准备工作（系统环境准备）

建议：以下所有操作均在root下完成，否侧，出现错误，10个有9个都是目录权限问题，根据log查错即可。

1.网络配置（所有节点）

vi /etc/sysconfig/network修改hostname：

通过service network restart重启网络服务生效

因为节点太多逐一修改需要很多时间，所以我们用scp推给其他节点，这样既保证了效率，又保证了准确。（当然节点更多的时候我们可以通过shell脚本来帮助我们完成这些工作）

2.打通SSH，设置ssh无密登陆（所有节点）

（1）进入到我的home目录

 cd ~/.ssh 

（2）生成公钥和私钥：

ssh-keygen -t rsa 

然后敲（三个回车），就会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）

将公钥拷贝到要免密登录的目标机器上（别忘了copy给本机一份噢）

ssh-copy-id dt013190

ssh-copy-id dt013191

...

ssh-copy-id dt013199

最后通过ssh ip 命令可以登录到其他服务节点及视为成功。（提示：退出使用 exit 命令）

3.安装Java（所有节点）

通过阅读官方文档我们可以发现如下信息

所以首先卸载自带的OpenJdk，有些linux会默认自带较低版本的jdk如Centos。

使用命令rpm -qa | grep java查询java相关的包，命令rpm -e --nodeps包名并卸载它们，如果什么都没有则没有默认安装的jdk，直接进行下一步即可。

去Oracle的官网下载jdk的rpm安装包，并使用rpm -ivh 包名安装之。

这里不建议使用最新版本的jdk，因为oracle官网更新的jdk版本要高于CDH官方推荐的最高版本，会出现兼容性警告。

这里我们选择小版本121的rpm安装包进行安装。

选择rpm软件包的安装方式好处有二。

第一：rpm安装的默认路径即是CDH安装时会去寻找jdk的路径，否则在CM的安装中会报错。

（如果用tar包手动的方式安装可以创建软连接 进入/usr/java目录[没有就手动创建之]：ln -s你的jdk安装目录 /usr/java/default,运用此方法别忘记手动配置环境变量）

第二：rpm安装会自动创建环境变量。

将我们下载好的软件包上传至其中一台节点

使用rpm -ivh 包名 安装之

由于是rpm包并不需要我们来配置环境变量，我们只需要配置一个全局的JAVA_HOME变量即可

执行命令：echo "JAVA_HOME=/usr/java/latest/" >> /etc/environment

最后执行命令java -version出现如下画面即安装成功

最后，重复如上动作，给剩余其他节点都安装好jdk。

（温馨提示：在安装CDH的过程中每做完一步就检测一次，任何一步出错或者疏忽都有可能导致集群安装不成功，别问我是怎么知道的 -.-）

4.关闭防火墙以及SELINUX

提示：在所有的节点上执行，因为涉及到的端口太多，临时关闭防火墙是为了安装起来更方便。安装完毕后可以根据需要设置防火墙策略，保证集群安全。

关闭防火墙（重启生效）（所有节点）

chkconfig iptables off

关闭SELinux（重启生效）（所有节点）

(SELinux主要作用就是最大限度地减小系统中服务进程可访问的资源（最小权限原则）)

vi /etc/selinux/config   

SELINUX=disabled

重启后使用如下命令检查一下：sestatus -v

出现disable即为成功

5.设置用户最大可打开文件数，进程数，内存占用

使用命令：ulimit -a，查看当前系统的配置的上限，unlimited为无上限，如图

修改参数 （重启生效）（所有节点）

vi /etc/security/limits.conf

（提示：*代表所有用户，@表示对某个用户组生效，直接写用户名表示对某个用户生效）

6.配置NTP时间同步服务

（提示：这一步暂时可以跳过，但是在集群启动以后，会提示时间不同步。集群中所有主机必须保持时间同步，如果时间相差较大会引起各种问题。）

6.1 安装NTP（每个节点）： 

yum install ntp


根据提示输入Y后待到出现Complete！字样则表示为成功 。

6.2 配置NTP

先将原有的ntp.conf配置文件进行备份 cp /etc/ntp.conf /etc/ntp.conf.backup（所有节点）

修改ntp.conf文件如下 

vi /etc/ntp.conf

master配置：

restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap

server 127.127.1.0

fudge 127.127.1.0 stratum 10

slave配置：

server master（此处为master节点的hostname）

执行命令（所有节点）

设置开机启动:

chkconfig ntpd on

启动ntp：

service ntpd start

检查是否设置成功：chkconfig --list ntpd 其中2-5为on状态就代表成功。

7.设置swap空间

（Cloudera建议将交换空间设置为0，过多的交换空间会引起GC耗时的激增，所以还是关闭的为好。）

执行命令 （所有节点）

echo "vm.swappiness = 0" >> /etc/sysctl.conf

8.关闭大页面压缩

执行命令 （所有节点）

echo never > /sys/kernel/mm/transparent_hugepage/enabled

echo never > /sys/kernel/mm/transparent_hugepage/defrag

9.安装mysql

9.1 创建系统需要用到的一些目录

安装文件下载目录：/opt/software/mysql

数据库保存位置：/data/mysql

日志保存位置：/data/log/mysql

9.2下载mysql

官网：http://dev.mysql.com/downloads/mysql/

我选择的是如下版本（具体不同版本的兼容与支持可查询官网，在此不再赘述）

上传tar包到我们建好的安装目录下

解压缩到/usr/local/ 目录下

 tar -zxvf mysql-5.7.13-linux-glibc2.5-x86_64.tar.gz -C /usr/local/

然后改名 mv mysql-5.7.13XXXXXX mysql

9.3创建mysql用户用户组及目录

# groupadd mysql

# useradd -r -s /sbin/nologin -g mysql mysql -d /usr/local/mysql

该用户禁止shell登录，同时修改用户目录权限

# cd /usr/local/mysql# chown -R mysql .# chgrp -R mysql .

# chown -R mysql:mysql /data/mysql/ 

# chown -R mysql:mysql /data/log/ 

9.4初始化MYSQL

# ./bin/mysqld --initialize --user=mysql --basedir=/usr/local/mysql --datadir=/data/mysql

部分人的linux系统会出现如下错误

这是因为缺少安装包libaio和libaio-devel导致的不用紧张yum来帮忙

# yum install libaio*

Complete！成功

再次执行初始化命令

出现上述即为成功，记得把初始化的密码copy下来噢

然后再执行命令

./bin/mysql_ssl_rsa_setup  --datadir=/data/mysql

成功如下

9.5修改系统配置文件

进入support-files目录

执行命令：

# cp my-default.cnf /etc/my.cnf

# cp mysql.server /etc/init.d/mysql

修改以下内容：

# vi /etc/init.d/mysql

# vi /etc/my.cnf

修改内容修改为如下：

[client]

port = 3306

socket = /usr/local/mysql/mysql.sock


[mysql]

no-auto-rehash

default-character-set=utf8


[mysqld]

socket = /usr/local/mysql/mysql.sock

basedir = /usr/local/mysql

max_allowed_packet = 64M

datadir = /data/mysql

explicit_defaults_for_timestamp = true

skip-ssl

secure-file-priv = NULL

lower_case_table_names = 1

back_log = 300

max_connections = 3000

max_connect_errors = 100

table_open_cache = 4096

external-locking = FALSE

max_allowed_packet = 64M

sort_buffer_size = 32M

join_buffer_size = 32M

thread_cache_size = 16

query_cache_size = 128M

query_cache_limit = 4M

thread_stack = 512K

transaction_isolation = REPEATABLE-READ

tmp_table_size = 128M

max_heap_table_size = 128M


character-set-server=utf8


long_query_time = 6

slow_query_log_file = /data/log/mysql/slow.log


[mysqld_safe]

open-files-limit = 8192

log-error=/data/log/mysql/mysql_3306.err


sql_mode=NO_ENGINE_SUBSTITUTION,STRICT_TRANS_TABLES

9.6运行mysql

# ./bin/mysqld_safe --user=mysql &

# ./bin/mysql --user=root -p

输入9.4步我们copy下来的密码 回车

依次输入以下命令：

mysql> set password=password('123123');--修改密码

mysql> grant all privileges on *.* to root@'%' identified by '123123';--允许远程访问

mysql> flush privileges;--刷新授权表

创建CM用的数据库：

--hive数据库 

create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci ;

--集群监控数据库

create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci ;

--hue数据库

create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

-- oozie数据库

create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

至此mysql数据库的安装就算完成了，但是为了方便使用，接下来我们给它配置环境变量以及开机启动。

9.7配置环境变量

# vi /etc/profile

添加：export PATH=/usr/local/mysql/bin:$PATH

或者：

执行命令

# source /etc/profile

9.8配置开机启动

# chmod 755 /etc/init.d/mysql

# chkconfig --add mysql --将MySQL添加为受chkconfig管理的服务

# chkconfig --level 345 mysql on --在级别3和5上设定服务为”on”

至此mysql安装完毕，我们的环境也基本配置完毕，接下来让我们正式开工！

安装Cloudera Manager Server和 Agent

将我们下载好的安装包上传至服务器并解压安装

主节点解压安装

cloudera manager的目录默认在/opt下，cdh5的源会默认在/opt/cloudera/parcel-repo寻找，所以不能解压到其他地方，使用命令

tar xzvf cloudera-manager*.tar.gz

CM可以按照个人喜好安装，我这里都安装在了/opt下以方便管理

移动文件

# mv cloudera /opt/

# mv cm-5.12.1 /opt/

这里开始我们的cm需要与mysql进行交互，所以首先需要去MySql的官网下载JDBC驱动，http://dev.mysql.com/downloads/connector/j/，解压后找到mysql-connector-java-5.1.**-bin.jar，放到/opt/cm-5.12.1/share/cmf/lib/中，不多赘述。

在主节点初始化CM5的数据库：

/opt/cm-5.12.1/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -p123123 --scm-host localhost scm scm scm

Agent配置

修改/opt/cm-5.12.1/etc/cloudera-scm-agent/config.ini中的server_host为主节点的主机名。

同步Agent到其他节点

scp...

在所有节点创建cloudera-scm用户

useradd --system --home=/opt/cm-5.12.1/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

准备Parcels，用以安装CDH5

将我们提前下载好的Parcels文件上传到主节点的/opt/cloudera/parcel-repo/目录中（如果没有parcel-repo需要手动创建，这里不需要分发到所有节点）。

注意！！最后一定要将CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel.sha1，重命名为CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel.sha，去掉末尾的1，否则系统会重新下载CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel文件，也就不是纯离线安装了。

相关启动脚本

通过/opt/cm-5.12.1/etc/init.d/cloudera-scm-server start启动服务端。

通过/opt/cm-5.12.1/etc/init.d/cloudera-scm-agent start启动Agent服务（所有Agent节点）。

以上我们是通过脚本来启动的，所以需要停止服务的时候，只需要把以上的start参数改为stop就可以啦。

service服务启动需要几分钟，取决于服务器的性能，此时我们可以使用

netstat -apn|grep 7180

查询端口被占用后，就可以用浏览器打开http://masterIP:7180/进行访问了，登录用户名与密码分别为admin。

至此基本上CM的安装己经完成，接下来就可以通过WEB界面进行安装CDH了！

安装CDH

勾选是后继续

这里我们选择免费版本后继续

继续

各个Agent节点正常启动后，可以在当前管理的主机列表中看到对应的节点。选择要安装的节点，这里我选择全部节点，继续。

出现以下版本的包，说明本地Parcel包配置无误，直接点继续。

如果配置本地Parcel包无误，那么已下载是瞬间就完成的，因为不需要下载，然后耐心等待分配过程就行了，速度由内网网速决定。完成后点击继续。

接下来是服务器检查，如果前面严格按照步骤一步步做下来这里应该是不会出现任何问题的，全绿通过。点击完成。

接下来是选择安装服务，根据需要按需选择就好，点击继续

服务配置，一般情况下保持默认就可以了，也可以自己手动根据节点情况进行分配，点击继续

接下来是数据库的设置，部分系统会通过测试，有的则像我一样

错误原因：

hue要存元数据库，CM的服务端是用Java编写的，而CM的客户端是Python编写的，这里测试连接时是用Python去连接数据库。

掏出准备好的安装包 ， rpm之

再次点击测试连接，成功，点击继续

下面是集群设置的审查页面，保持默认就可以，因为后面还需要更多详细的改动，不建议这里完成，我们首要的任务是先将集群建立起来。所以点击继续。

开始安装各个服务，安装Hive的时候可能会报错，因为我们使用了MySql作为hive的元数据存储，hive默认并没有带mysql的驱动，拷贝一个就行了：

cp mysql-connector-java-5.1.46-bin.jar /opt/cloudera/parcels/CDH-5.12.1-1.cdh5.12.1.p0.3/lib/hive/lib/

这时hive通过了oozie会出现错误，错误原理与hive雷同，通过观察日志我们发现oozie会去一个默认路径下copy mysql的驱动，所以cp一个驱动过去即可，记得驱动的名称改成日志中需要的格式，否则依旧审核不通过，这点很重要。

全部绿色通过，然后点击继续。

到此为止CDH集群就算部署完毕了


部分linux系统会因为缺少hue的相关依赖而启动不了hue的某些进程（这个东西最矫情）具体根据自己系统的情况去安装即可。

最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
  • 人面猴
    序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
    沈念sama阅读 159,835评论 4赞 364
  • 死咒
    序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
    沈念sama阅读 67,598评论 1赞 295
  • 救了他两次的神仙让他今天三更去死
    文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
    开封第一讲书人阅读 109,569评论 0赞 244
  • 道士缉凶录：失踪的卖姜人
    文/不坏的土叔 我叫张陵，是天一观的道长。 经常有香客问我，道长，这世上最难降的妖魔是什么？ 我笑而不...
    开封第一讲书人阅读 44,159评论 0赞 213
  • 港岛之恋（遗憾婚礼）
    正文 为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
    茶点故事阅读 52,533评论 3赞 287
  • 恶毒庶女顶嫁案：这布局不是一般人想出来的
    文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
    开封第一讲书人阅读 40,710评论 1赞 222
  • 城市分裂传说
    那天，我揣着相机与录音，去河边找鬼。 笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。 我是一名探鬼主播，决...
    沈念sama阅读 31,923评论 2赞 313
  • 双鸳鸯连环套：你想象不到人心有多黑
    文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
    开封第一讲书人阅读 30,674评论 0赞 203
  • 万荣杀人案实录
    序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
    沈念sama阅读 34,421评论 1赞 246
  • 护林员之死
    正文 独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,622评论 2赞 245
  • 白月光启示录
    正文 我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,115评论 1赞 260
  • 活死人
    序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
    沈念sama阅读 28,428评论 2赞 254
  • 日本核电站爆炸内幕
    正文 年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
    茶点故事阅读 33,114评论 3赞 238
  • 男人毒药：我在死后第九天来索命
    文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,097评论 0赞 8
  • 一桩弑父案，背后竟有这般阴谋
    文/苍兰香墨 我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,875评论 0赞 197
  • 情欲美人皮
    我被黑心中介骗来泰国打工， 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。 一个月前我还...
    沈念sama阅读 35,753评论 2赞 276
  • 代替公主和亲
    正文 我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
    茶点故事阅读 35,649评论 2赞 271

推荐阅读更多精彩内容