Cloudera Manager 5.12新功能

1.备份和灾难恢复(BDR)

1).复制的时候刷新Impala的metadata

在复制数据的过程中,可以在CM中配置BDR从而在目标集群可以自动刷新Impala的metadata缓存。以前的版本需要在Hive的高级配置里进行配置,在Hive Replication Environment Advanced Configuration Snippet (Safety Valve) 配置项中增加RUN_INVALIDATE_METADATA=true。详情参考:Invalidating Impala Metadata

2).自动更新Kerberos的tickets和Delegation Tokens

在旧版本中,在Kerberos集群中的BDR复制作业会失败,当作业的持续时间超过了HDFS delegation token的更新间隔后。修复这个问题后,无论是delegation token还是Kerberos的ticket都会被自动更新,当token/ticket过期后(默认的lifetime一般是7天)。这样可以让我们在执行一些长时间的复制作业时,不用停下源集群的任务并更改ticket的timeout时间。

3).优化简单的Kerberos配置

    1)作为配置集群连接测试(Test Connectivity)的一部分(Cloudera Manager -> Backup -> Peers), Cloudera Manager现在可以测试源集群和目标集群的Kerberos认证配置是否合理。当你增加了一个用于复制数据的另一个集群,Test Connectivity会自动运行。这个功能需要源和目标集群都运行在Cloudera Manager 5.12或之上。详情参考:Enabling Replication Between Clusters with Kerberos Authentication

    2)如果你的集群是让Cloudera Manager来管理你的Kerberos配置文件(krb5.conf),在Test Connectivity的过程中,如果Kerberos配置有问题,BDR可以为你自动进行修正。

    3)如果源集群和目标集群都使用Cloudera Manager 5.12或之上的版本,在Kerberos的集群中增加另一些用于复制数据的集群配置流程非常简单。现在,你只需要设置信任的目标集群,不是源集群,从而减少启用Hive Replication的复杂度。详情参考:Enabling Replication Between Clusters with Kerberos Authentication

4).复制调度任务增加名字和描述

你在创建或编辑一个复制调度任务时,你可以在General中增加名字,在Advanced增加描述。

2.集成Hive Metastore Schema的检查器

Cloudera Manager现在集成了Hive Metastore的schemaTool,用于校验Hive的metadata。当你用Cloudera Manager 5.12或更高版本的界面化升级向导或者命令行升级集群时(该集群包括Hive组件),在升级Hive metastore的schema之前,Cloudera Manager会首先运行这个校验检查来查看是否有不一致或错误。如果校验检查失败,Cloudera Manager会显示这个错误并且停止升级。你需要先解决这个错误,否则升级无法继续。

3.支持HSM Key Provider

Cloudera Manager的HDFS加密向导现在可以配置硬件安全模块(Hardware Security Module,HSM)的Key Providers,同时它是被CDH5.12的秘钥管理支持的。

4.发送诊断包

优化通过Cloudera Manager搜集和发送诊断包。无论你之前是怎么配置的,每次你在创建诊断包时,你都可以选择:搜集和发送诊断包到Cloudera Support或者只是搜集诊断数据。另外,Cloudear Manager会显示诊断包的状态。比如诊断包是否已经成功发送给Cloudera。

5.删除Kerberos服务的Principal

通过delete_credentials API,你可以删除MIT Kerberos或者Active Directory服务的Principal,在Kerberos环境中这些Principal是由Cloudera Manager之前创建的。

6.HBase Region的上线健康检查

Cloudera Manager现在可以显示HBase的regions上线时的健康度,比如是否因为在做分裂和合并操作而导致卡住/挂起。

7.MapReduce作业提交文件的复制因子

MR1和MR2提交的作业的复制因子(Submit Replication Factor)属性会自动设置,它会至少与HDFS默认的复制因子(HDFS Replication Factor)保持一致,在一个超过3个Datanode的集群中。另外,配置校验器会校验这个参数,如果作业提交复制因子比HDFS的复制因子要低,则给出警告,如果集群的Datanode超过3个。

8.自定义导航栏颜色

现在可以使用Cloudera Manager自定义导航栏的颜色,通过选择Administration > Settings,然后在Category选择Other,在下拉菜单中选择 Custom Header Color

9.动态资源池的UI

Dynamic Resource Pools的界面现在可以显示资源池的访问控制信息,包括是否可用,有没有定制化的users/groups限制,或者是不是继承他们父池的ACLs。

10.Impala Shell命令的例子

Impala服务状态页面包括了一个Impala Shell命令的例子。

11.配置S3的Endpoint

S3连接器服务可以允许你配置被HDFS客户端(包括Hive和Impala)使用的S3 Endpoint,从而保证所有被你的集群创建/访问的S3数据都已经存储到了你选择的AWS region中。另外,Hue默认就自动配置了S3连接器的Endpoint

12.Solr

    1)请求率(Request Rate)和索引大小图表

Solr状态页面的图表现在集成了Solr服务的请求率和索引的统计大小。

    2)日志的新标签

优化了Solr的日志。现在日志包括:thread, shard, replica和collection。

推荐阅读更多精彩内容