Cloudera Manager 5.12新功能

1.备份和灾难恢复(BDR)

1).复制的时候刷新Impala的metadata

在复制数据的过程中,可以在CM中配置BDR从而在目标集群可以自动刷新Impala的metadata缓存。以前的版本需要在Hive的高级配置里进行配置,在Hive Replication Environment Advanced Configuration Snippet (Safety Valve) 配置项中增加RUN_INVALIDATE_METADATA=true。详情参考:Invalidating Impala Metadata

2).自动更新Kerberos的tickets和Delegation Tokens

在旧版本中,在Kerberos集群中的BDR复制作业会失败,当作业的持续时间超过了HDFS delegation token的更新间隔后。修复这个问题后,无论是delegation token还是Kerberos的ticket都会被自动更新,当token/ticket过期后(默认的lifetime一般是7天)。这样可以让我们在执行一些长时间的复制作业时,不用停下源集群的任务并更改ticket的timeout时间。

3).优化简单的Kerberos配置

    1)作为配置集群连接测试(Test Connectivity)的一部分(Cloudera Manager -> Backup -> Peers), Cloudera Manager现在可以测试源集群和目标集群的Kerberos认证配置是否合理。当你增加了一个用于复制数据的另一个集群,Test Connectivity会自动运行。这个功能需要源和目标集群都运行在Cloudera Manager 5.12或之上。详情参考:Enabling Replication Between Clusters with Kerberos Authentication

    2)如果你的集群是让Cloudera Manager来管理你的Kerberos配置文件(krb5.conf),在Test Connectivity的过程中,如果Kerberos配置有问题,BDR可以为你自动进行修正。

    3)如果源集群和目标集群都使用Cloudera Manager 5.12或之上的版本,在Kerberos的集群中增加另一些用于复制数据的集群配置流程非常简单。现在,你只需要设置信任的目标集群,不是源集群,从而减少启用Hive Replication的复杂度。详情参考:Enabling Replication Between Clusters with Kerberos Authentication

4).复制调度任务增加名字和描述

你在创建或编辑一个复制调度任务时,你可以在General中增加名字,在Advanced增加描述。

2.集成Hive Metastore Schema的检查器

Cloudera Manager现在集成了Hive Metastore的schemaTool,用于校验Hive的metadata。当你用Cloudera Manager 5.12或更高版本的界面化升级向导或者命令行升级集群时(该集群包括Hive组件),在升级Hive metastore的schema之前,Cloudera Manager会首先运行这个校验检查来查看是否有不一致或错误。如果校验检查失败,Cloudera Manager会显示这个错误并且停止升级。你需要先解决这个错误,否则升级无法继续。

3.支持HSM Key Provider

Cloudera Manager的HDFS加密向导现在可以配置硬件安全模块(Hardware Security Module,HSM)的Key Providers,同时它是被CDH5.12的秘钥管理支持的。

4.发送诊断包

优化通过Cloudera Manager搜集和发送诊断包。无论你之前是怎么配置的,每次你在创建诊断包时,你都可以选择:搜集和发送诊断包到Cloudera Support或者只是搜集诊断数据。另外,Cloudear Manager会显示诊断包的状态。比如诊断包是否已经成功发送给Cloudera。

5.删除Kerberos服务的Principal

通过delete_credentials API,你可以删除MIT Kerberos或者Active Directory服务的Principal,在Kerberos环境中这些Principal是由Cloudera Manager之前创建的。

6.HBase Region的上线健康检查

Cloudera Manager现在可以显示HBase的regions上线时的健康度,比如是否因为在做分裂和合并操作而导致卡住/挂起。

7.MapReduce作业提交文件的复制因子

MR1和MR2提交的作业的复制因子(Submit Replication Factor)属性会自动设置,它会至少与HDFS默认的复制因子(HDFS Replication Factor)保持一致,在一个超过3个Datanode的集群中。另外,配置校验器会校验这个参数,如果作业提交复制因子比HDFS的复制因子要低,则给出警告,如果集群的Datanode超过3个。

8.自定义导航栏颜色

现在可以使用Cloudera Manager自定义导航栏的颜色,通过选择Administration > Settings,然后在Category选择Other,在下拉菜单中选择 Custom Header Color

9.动态资源池的UI

Dynamic Resource Pools的界面现在可以显示资源池的访问控制信息,包括是否可用,有没有定制化的users/groups限制,或者是不是继承他们父池的ACLs。

10.Impala Shell命令的例子

Impala服务状态页面包括了一个Impala Shell命令的例子。

11.配置S3的Endpoint

S3连接器服务可以允许你配置被HDFS客户端(包括Hive和Impala)使用的S3 Endpoint,从而保证所有被你的集群创建/访问的S3数据都已经存储到了你选择的AWS region中。另外,Hue默认就自动配置了S3连接器的Endpoint

12.Solr

    1)请求率(Request Rate)和索引大小图表

Solr状态页面的图表现在集成了Solr服务的请求率和索引的统计大小。

    2)日志的新标签

优化了Solr的日志。现在日志包括:thread, shard, replica和collection。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 158,233评论 4 360
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 67,013评论 1 291
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 108,030评论 0 241
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 43,827评论 0 204
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,221评论 3 286
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,542评论 1 216
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,814评论 2 312
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,513评论 0 198
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,225评论 1 241
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,497评论 2 244
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 31,998评论 1 258
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,342评论 2 253
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 32,986评论 3 235
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,055评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,812评论 0 194
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,560评论 2 271
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,461评论 2 266

推荐阅读更多精彩内容