1.1 CentOS7安装cdh6.0.1详细文档

首先，我强调一下，其实最主要的步奏都是参照 官网的 安装步奏进行 配置的。官网是 最好的解决方案，网上的很多博文只是用来参考，这点大家切记切记。
https://www.cloudera.com/documentation/enterprise/6/6.0/topics/installation_reqts.html

0.安装环境

0.1 安装环境

1.安装前准备

1.1 操作系统设置
1.1.1 配置固定IP 与 解析关系
1.1.2 关闭 SELINUX
1.1.3 关闭防火墙
1.1.4 配置时间同步 NTP
1.1.5 配置集群 ssh免密登录

2.安装

2.1 步骤1 Linux 下安装JDK

2.2 步骤2 配置Repo

2.3 步骤3 安装服务

2.4 步骤4 修改各节点配置 并启动 cloudera-scm-agent

2.5 步骤5 安装并配置MySQL

2.6 步骤6 配置CM 及其他服务的数据库 基于 MySQL，增加mysql-connector 包

2.7 步骤7 初始化数据库，启动服务

2.8 步骤8 Parcel 安装

3.常见问题详解

3.1 安装中断，如何继续

3.2 Inspector 检测 出现各种错误警告

3.3 运行日志在哪里

4.几种加快安装的方式

4.1 启动httpd 服务，使用离线 parcel 包安装

4.2 创建本地yum源，使用离线 rpm 包安装

======================================================================

0.安装环境

0.1 安装环境
本文的安装环境在 CentOS7 下 搭建完成

Linux 版本 ： CentOS 7

CDH版本 ：CM 6.0.1

1.安装前准备

1.1 操作系统设置
1.1.1 配置固定IP 与 解析关系
1.1.2 关闭 SELINUX
1.1.3 关闭防火墙
1.1.4 配置时间同步 NTP
1.1.5 配置集群 ssh免密登录
上述安装前基础配置参考我的简书
https://www.jianshu.com/p/52c6b3b4f519

2.安装

2.1 步骤1 安装Java

要求：
JDK必须是64位。不要使用32位JDK。
已安装的JDK必须是受支持的版本java1.8以上。
在相同版本的JDK必须安装在每个集群主机上。
必须安装JDK在 /usr/java/jdk-versio (很重要注意)

安装jdk流程参考https://www.jianshu.com/p/456041b488c9

2.2 步骤2 配置Repo

该步骤建议替换从本地yum源安装的方式 ！！！！！！
首先我们需要下载 Repo , Repo 是 yum 用来管理包的配置文件。
下载地址：
https://archive.cloudera.com/cm6/6.0.1/redhat7/yum/cloudera-manager.repo

通过以下指令:
 
sudo wget <repo_file_url> -P /etc/yum.repos.d/

repo_file_url 换成以上的地址即可

-P LOCAL_DIR：保存所有的文件或目录到指定的目录下

之后我们还需要执行以下指令，Import the repository signing GPG key:

sudo rpm --import https://archive.cloudera.com/cm6/6.0.1/redhat7/yum/RPM-GPG-KEY-cloudera

2.3 步骤3 安装服务

这个步骤主要用来 安装 cloudera-manager-daemon 与 cloudera-manager-agent ， cloudera-manager-server

其中 cloudera-manager-daemon 与 cloudera-manager-agent 是要每台机器进行安装的

cloudera-manager-server 只需要 在集群中想作为 未来管理节点的机器上安装即可 .

我们先看下是否能找到这些包

我们执行下面指令：

yum search cloudera-manager-daemons cloudera-manager-agent cloudera-manager-server

这里，我们采用 yum 安装。

安装指令：

主节点：

yum install cloudera-manager-daemons cloudera-manager-agent cloudera-manager-server

其他节点：

yum install cloudera-manager-daemons cloudera-manager-agent

最后建议把这些服务设置为 开机启动服务，方便管理。在集群重启的时候，可以不用担心服务的问题。

主节点：

sudo systemctl enable cloudera-scm-agent

sudo systemctl enable cloudera-scm-server

其他节点:

sudo systemctl  enable  cloudera-scm-agent

2.4 步骤4 修改各节点配置 并启动 cloudera-scm-agent

配置各个节点的 agent，使得各个节点的 agent 都指向 主节点：

主要通过以下步奏：

修改 /etc/cloudera-scm-agent/config.ini


image.png
[General]
# Hostname of the CM server.
#server_host=localhost
server_host=cdh-manager

# Port that the CM server is listening on.
server_port=7182

更多的配置 ，请参考以下文档：
https://www.cloudera.com/documentation/enterprise/6/latest/topics/cm_ag_agent_config.html#cmug_topic_5_16__section_kw3_5rq_wm

2.5 步骤5 安装并配置 MySQL （只需要 主节点）

mysql安装参考https://www.jianshu.com/p/1c41ce3e9305

2.6 步骤6 配置CM 及其他服务的数据库 基于 MySQL，增加mysql-connector 包

我们需要给 mysql 增加必要的用户，用于其他组件 将 mysql 作为源数据库。


image.png

我们登录mysql 执行以下指令，我们给每个数据库设置密码 123456 ：

CREATE DATABASE scm DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE amon DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE rman DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE hue DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE metastore DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE sentry DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE nav DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE navms DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE oozie DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

GRANT ALL ON scm.* TO 'scm'@'%' IDENTIFIED BY '123456';
GRANT ALL ON amon.* TO 'amon'@'%' IDENTIFIED BY '123456';
GRANT ALL ON rman.* TO 'rman'@'%' IDENTIFIED BY '123456';
GRANT ALL ON hue.* TO 'hue'@'%' IDENTIFIED BY '123456';
GRANT ALL ON metastore.* TO 'metastore'@'%' IDENTIFIED BY '123456';
GRANT ALL ON sentry.* TO 'sentry'@'%' IDENTIFIED BY '123456';
GRANT ALL ON nav.* TO 'nav'@'%' IDENTIFIED BY '123456';
GRANT ALL ON navms.* TO 'navms'@'%' IDENTIFIED BY '123456';
GRANT ALL ON oozie.* TO 'oozie'@'%' IDENTIFIED BY '123456';

刷新权限：

FLUSH PRIVILEGES;

必须使用flush privileges的两种情况

1)、改密码。

2)、授权超用户。

除此以外，我们需要

Installing the MySQL JDBC Driver

具体步骤如下：
Download the MySQL JDBC driver from http://www.mysql.com/downloads/connector/j/5.1.html (in .tar.gz format). As of the time of writing, you can download version 5.1.46 using wget as follows:

wget https://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.46.tar.gz

Extract the JDBC driver JAR file from the downloaded file. For example:

tar -zxvf mysql-connector-java-5.1.46.tar.gz

Copy the JDBC driver, renamed, to /usr/share/java/. If the target directory does not yet exist, create it. For example:

sudo mkdir -p /usr/share/java/
cd mysql-connector-java-5.1.46
sudo cp mysql-connector-java-5.1.46-bin.jar /usr/share/java/mysql-connector-java.jar

2.7 步骤7 初始化数据库，启动服务

由于这里我们用到了 cm 使用 mysql 作为源数据库，所以我们应该对 mysql 进行初始化，

初始化 的步奏 如下

The syntax for the scm_prepare_database.sh script is as follows:

sudo /opt/cloudera/cm/schema/scm_prepare_database.sh [options] <databaseType> <databaseName> <databaseUser> <password>

示例如下：

sudo /opt/cloudera/cm/schema/scm_prepare_database.sh mysql scm scm 123456

该步骤做完之后，我们就可以启动 cm 了

启动命令如下：

sudo systemctl start cloudera-scm-server

开机启动

 sudo systemctl enable cloudera-scm-server

2.8 步骤8 Parcel 安装

如果这些步骤都顺利进行的话，我们应该可以访问 cm 的 7180 端口 进行初始化配置了。

初始化界面如下：


image.png

我们进行下一步。如果 我们的 agent 配置合理，可以扫描到集群中的机器。 参考 2.4
然后我们选择 parcel 6.0.1 网络安装 ，国内大约要 8-10 h ，我们可以下载离线包的形式进行配置。参考 第4 章 ，加速安装部分。
安装最后，我们再登录 cm 即可看到 管理界面了。

image

3.常见问题详解

cdh环境安装后只有hdfs用户是supergroup组，每次操作要从root用户切换到hdfs用户，并且有的代码操作比如Bulk Load大量数据插入到hbase操作时会报错hbase用户权限不够，所以要把hbase用户也加到supergroup组内。索性把root和hbase用户都加入supergroup组，以后再遇到哪个用户权限不够再加

操作步骤如下：

1、在Linux执行如下命令增加supergroup

groupadd supergroup

2、如将用户root增加到supergroup中，再执行：

usermod -a -G supergroup root

3、同步系统的权限信息到HDFS：

su - hdfs -s /bin/bash -c "hdfs dfsadmin -refreshUserToGroupsMappings"

即可

3.1 安装中断，如何继续

出现原因：

parcel 包下载自动安装后，服务没分配


image

Step1 :

在顶部状态栏:

选择继续下一步安装

Step2:

分配服务：

3.2 Inspector 检测 出现各种错误警告

CDH创建Mysql数据库时能找到服务器找不到数据库
在创建新的数据库后应运行以下语句来修改数据库访问权限

mysql -uroot -proot -e"GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'root' WITH GRANT OPTION;FLUSH PRIVILEGES;"

===============================

Cloudera 建议将 /proc/sys/vm/swappiness 设置为最大值 10。当前设置为 30。

echo "vm.swappiness=10" >> /etc/sysctl.conf

===========================

已启用透明大页面压缩，可能会导致重大性能问题

echo "echo never > /sys/kernel/mm/transparent_hugepage/defrag" >> /etc/rc.local 
echo "echo never > /sys/kernel/mm/transparent_hugepage/enabled" >> /etc/rc.local 
chmod +x /etc/rc.d/rc.local

===================

自启动CDH挂掉
原因:ip地址映射错误
Mysql服务未启动

========================

CDH安装Yarn时NodeManager启动失败
Error starting NodeManager
org.apache.hadoop.service.ServiceStateException: org.fusesource.leveldbjni.internal.NativeDB$DBException: IO error: /var/lib/hadoop-yarn/yarn-nm-recovery/yarn-nm-state/LOCK: 权限不够

方法一：修改目录权限

chmod -R 755 /var/lib/hadoop-yarn/

方法二：删除该对应子目录重试CDH添加服务操作

CDH内存不足超过阈值
调整主机配置参数 默认0.8 剩余内存为系统占用（可调整优化）

3.3 运行日志在哪里

运行日志 所在目录

/var/log

下 cloudera 开头的都是 目录 ，重要的是 cloudera-scm-server

4.几种加快安装的方式

4.1 启动httpd 服务，使用离线 parcel 包安装

这里我们需要借用httpd 搭建一个网络服务

Httpd
CentOS7 默认是不安装 httpd 的，我们通过以下指令先安装下 httpd 服务

安装：

yum install -y httpd

启动httpd 服务:

systemctl start httpd

开机启动

systemctl enable httpd

启动后，我们可以直接通过地址访问一下，看下服务是否启动正常： httpd 默认使用的就是 80端口


image

注意 httpd 有一定的公约，/var/www/html 是 httpd 的根目录，

假设我们 将文件放在 /var/www/html/cdh6/parcels/6.0.1 下，我们可以通过页面访问到 ：
http://192.168.75.134/cdh6/parcels/6.0.1/

image

==================================

这里我们需要从官网上下载对应系统的 parcel，在安装时候通过本地加速

6.0.1 版本的地址如下，

https://archive.cloudera.com/cdh6/6.0.1/parcels/

注意

manifest.json 与 sha256 校验文件最好一并下载

4.2 创建本地数据源

step1 : 搭建httpd 服务

这里我们需要借鉴上一个小节 4.1 的 httpd 服务，不熟悉的可以先看下 httpd 服务如何搭建。

搭建好服务后，启动httpd

step2: 下载所需要的包

我们就从官网上下载对应系统 rpm 包

官网地址

https://archive.cloudera.com/cm6/6.0.1/redhat7/yum/RPMS/x86_64/

将该目录下的rpm全部下载。下载好后，我们将这些包放置在

/var/www/html/yum/centos7/repo/

目录下。

step3: 创建本地 repo 源

首先，我们要为下载的这些rpm，生成一个依赖关系。

我们执行以下指令

cd /var/www/html/yum/centos7/repo/

createrepo .
image

之后。会生成一个 repodata 文件夹

除此之外，我们还需要为源，编写 .repo 文件来描述我们的源。

首先，我们切换到所有 源的配置目录

cd /etc/yum.repos.d/

新建一个 localCDH.repo

内容如下：

[localCDHRepo]
name=local_CDH_Repo
baseurl=http://192.168.75.134/yum/centos7/repo/
enabled=true
gpgcheck=false

最后，我们执行下

yum makecache  

[root@cdh-repo yum.repos.d]# yum makecache
Loaded plugins: fastestmirror, langpacks
Loading mirror speeds from cached hostfile
 * base: mirrors.tuna.tsinghua.edu.cn
 * extras: mirrors.neusoft.edu.cn
 * updates: mirrors.tuna.tsinghua.edu.cn
base                                                                                                                                                 | 3.6 kB  00:00:00     
epel                                                                                                                                                 | 3.2 kB  00:00:00     
extras                                                                                                                                               | 3.4 kB  00:00:00     
localCDHRepo                                                                                                                                         | 2.9 kB  00:00:00     
updates                                                                                                                                              | 3.4 kB  00:00:00     
Metadata Cache Created

更新本地缓存，这样就加载了我们新创建的源。
之后，我们把 localCDH.repo 放到其他机器的 /etc/yum.repos.d/ 目录下，让其他机器也可以通过 httpd 访问到这些 rpm。

最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
  • 人面猴
    序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
    沈念sama阅读 157,012评论 4赞 359
  • 死咒
    序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
    沈念sama阅读 66,589评论 1赞 290
  • 救了他两次的神仙让他今天三更去死
    文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
    开封第一讲书人阅读 106,819评论 0赞 237
  • 道士缉凶录：失踪的卖姜人
    文/不坏的土叔 我叫张陵，是天一观的道长。 经常有香客问我，道长，这世上最难降的妖魔是什么？ 我笑而不...
    开封第一讲书人阅读 43,652评论 0赞 202
  • 港岛之恋（遗憾婚礼）
    正文 为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
    茶点故事阅读 51,954评论 3赞 285
  • 恶毒庶女顶嫁案：这布局不是一般人想出来的
    文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
    开封第一讲书人阅读 40,381评论 1赞 210
  • 城市分裂传说
    那天，我揣着相机与录音，去河边找鬼。 笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。 我是一名探鬼主播，决...
    沈念sama阅读 31,687评论 2赞 310
  • 双鸳鸯连环套：你想象不到人心有多黑
    文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
    开封第一讲书人阅读 30,404评论 0赞 194
  • 万荣杀人案实录
    序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
    沈念sama阅读 34,082评论 1赞 238
  • 护林员之死
    正文 独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,355评论 2赞 241
  • 白月光启示录
    正文 我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 31,880评论 1赞 255
  • 活死人
    序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
    沈念sama阅读 28,249评论 2赞 250
  • 日本核电站爆炸内幕
    正文 年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
    茶点故事阅读 32,864评论 3赞 232
  • 男人毒药：我在死后第九天来索命
    文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,007评论 0赞 8
  • 一桩弑父案，背后竟有这般阴谋
    文/苍兰香墨 我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,760评论 0赞 192
  • 情欲美人皮
    我被黑心中介骗来泰国打工， 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。 一个月前我还...
    沈念sama阅读 35,394评论 2赞 269
  • 代替公主和亲
    正文 我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
    茶点故事阅读 35,281评论 2赞 259