centos7 cdh安装记录

我在安装centos的时候遇到了不少坑,这里简单记录一下。以备后用。

安装cdh的过程大致可理解为,先在一台机器上安装cloudera manager server。 然后再把cloudera manager 的 agent分发到各个节点。这样就可以依赖clouder manager去管理集群中的各个节点。最后在cloudera manager里面去选择需要安装的hadoop服务。推荐在线安装,虽然很多问题需要去解决,但起码能更清晰的知道每一步该做什么。

安装流程网上太多了,我自己也不见得写得比人家好。自己根据版本去搜索一个,这里推荐一个我参考的离线安装版本-链接

我是在线安装的过程,所以抽取了一些步骤。有些东西是不需要的,比如配置ssh免密钥登录,这个就不需要。到时候直接用root账户安装就好了。或者有sudo权限的user用户。

所以我的安装流程大致为:

  1. 安装mysql数据库,供cloudera manager server使用;
  2. 下载cdh安装包,mysql-connector-java.jar 连接库, 配置安装文件;
  3. 在每个节点安装cloudera-manager-agent,这步可提前安装。因为在后面的图形界面里安装费时很长,直接yum install cloudera-manager-agent就好了。
  4. 启动clouder-scm-server;
  5. 进入cloudera manager页面,安装cdh。

cloudera manager的安装包可从这里下载:
http://archive.cloudera.com/cm5/cm/5/
里面有cloudera不同的版本。centos7就明显的表示为操作系统。还有一个参数,el6/el7也表示操作系统的内核。el6就能和centos6兼容,因为centos6自带有python2.6以及相关的内核。不能简单安装一个python2.7去编译支持centos7的cloudera包,因为内核也要升级。同理,el7的包只能在centos7上进行安装。所以,如果你的集群服务器不是同一个版本。就会一直卡在这个问题:

安装失败。 无法接收 Agent 发出的检测信号。
请确保主机的名称已正确配置。
请确保端口 7182 可在 Cloudera Manager Server 上访问(检查防火墙规则)。
请确保正在添加的主机上的端口 9000 和 9001 空闲。
检查正在添加的主机上 /var/log/cloudera-scm-agent/ 中的代理日志(某些日志可在安装详细信息中找到)。
如果在 Cloudera Manager 中启用为代理使用 TLS 加密(管理 -> 设置 -> 安全),请确保 /etc/cloudera-scm-agent/config.ini 在正在添加的主机上有 use_tls=1。重启相应的代理,并单击此处的重试链接。

我因为两个原因在这个问题上卡了很久。其中一个就是我的主节点是centos7,另一个节点是centos6。log倒是有提示python2.6不能连接到目标主机,目标主机是python2.7的编译版本。另一个原因说起来都想哭,记住,所有linux服务器,不要以下划线命名主机名。比如datanode_01这种绝对不允许。虽然大多数linux服务不会因为这个原因出错。但cdh的安装会。而且,cdh5.10的log不提示原因,就一直卡在上面的错误。后来我回退到cdh5.5再安装一次才发现这个错误是由linux主机名不能有下划线这个原因引起的。

还遇到不少错误,这里把几个费劲的记录一下:

  1. 编辑参数的时候提示:
Error while committing the transaction

这个原因是数据库编码照成的,可以作如下操作。

alter table CONFIGS         modify `VALUE` longtext character set utf8 collate utf8_general_ci;
alter table CONFIGS_AUD     modify `VALUE` longtext character set utf8 collate utf8_general_ci;
alter table GLOBAL_SETTINGS modify `VALUE` longtext character set utf8 collate utf8_general_ci;
alter table USER_SETTINGS   modify `VALUE` longtext character set utf8 collate utf8_general_ci;
alter table AUDITS modify `MESSAGE` longtext character set utf8 collate utf8_general_ci;
alter table REVISIONS modify `MESSAGE` longtext character set utf8 collate utf8_general_ci;
  1. hive数据库启动不了提示如下错误
MetaException(message:Version information not found in metastore. )
Either your MetaData is incorrect, or you need to enable "datanucleus.autoCreateTables"

这个错误需要在hive的配置里作如下修改,可通过图形界面搜索,设置:

hive.metastore.schema.verification=false
datanucleus.autoCreateSchema=true
  1. hive数据库一定要latin,其他库选择utf8.

  2. cloudera-scm-agent 启动或激活的时候报如下错误:

ERROR    Caught unexpected exception in main loop.
Traceback (most recent call last):
  File "/usr/lib64/cmf/agent/build/env/lib/python2.7/site-packages/cmf-5.10.0-py2.7.egg/cmf/agent.py", line 710, in __issue_heartbeat
    self._init_after_first_heartbeat_response(resp_data)
  File "/usr/lib64/cmf/agent/build/env/lib/python2.7/site-packages/cmf-5.10.0-py2.7.egg/cmf/agent.py", line 947, in _init_after_first_heartbeat_response
    self.client_configs.load()
  File "/usr/lib64/cmf/agent/build/env/lib/python2.7/site-packages/cmf-5.10.0-py2.7.egg/cmf/client_configs.py", line 682, in load
    new_deployed.update(self._lookup_alternatives(fname))
  File "/usr/lib64/cmf/agent/build/env/lib/python2.7/site-packages/cmf-5.10.0-py2.7.egg/cmf/client_configs.py", line 432, in _lookup_alternatives
    return self._parse_alternatives(alt_name, out)
  File "/usr/lib64/cmf/agent/build/env/lib/python2.7/site-packages/cmf-5.10.0-py2.7.egg/cmf/client_configs.py", line 444, in _parse_alternatives
    path, _, _, priority_str = line.rstrip().split(" ")
ValueError: too many values to unpack

这个错误我是通过如下方法解决的(参考了这篇文章):
a. 找到下面这个文件;

/usr/lib64/cmf/agent/build/env/lib/python2.7/site-packages/cmf-5.10.0-py2.7.egg/cmf/client_configs.py 

b. 好习惯是先备份这个文件;
c. 把该文件从第443行到459行替换成如下内容:

if line.startswith("/"):
        if len(line.rstrip().split(" "))<=4:
          path, _, _, priority_str = line.rstrip().split(" ")

          # Ignore the alternative if it's not managed by CM.
          if CM_MAGIC_PREFIX not in os.path.basename(path):
            continue

          try:
            priority = int(priority_str)
          except ValueError:
            THROTTLED_LOG.info("Failed to parse %s: %s", name, line)

          key = ClientConfigKey(name, path)
          value = ClientConfigValue(priority, self._read_generation(path))
          ret[key] = value

        else:
          pass
    return ret

d. 重启cloudera-scm-agent 服务。

推荐阅读更多精彩内容