Kylin 读写分离部署

官方文档翻译
http://kylin.apache.org/blog/2016/06/10/standalone-hbase-cluster/

介绍
Apache Kylin 主要使用HBase存储 cube 数据。所以HBase集群的性能直接影响到kylin的查询性能 。通常场景是,HBase 和 MR/Hive 部署在同一个HDFS集群上,这使得HBase可用资源很有限,MR任务也会影响HBase的性能。这些问题可以通过独立的HBase集群解决,Apache Kylin目前支持这种部署模式。

架构图

image.png

环境要求
为了启用独立的HBase支持,首先要检查以下环境

  • 部署主集群和hbase集群,确保两者正常工作
  • 确保Kylin服务器可以使用hdfs shell访问这两个集群,并提供完全限定的路径
  • 确保Kylin服务器可以向主集群提交MR作业,可以使用hive shell访问数据仓库,确保hadoop和hive的配置指向主集群
  • 确保kylin服务器可以使用hbase shell访问hbase集群,确保hbase节点配置到hbase集群
  • 确保主集群上的job可以直接访问hbase集群

配置
编辑conf/kylin.properties,设置 kylin.hbase.cluster.fs 为HBase集群HDFS的url,例如:kylin.hbase.cluster.fs=hdfs://hbase-cluster-nn01.example.com:8020

启用NameNode HA:
HDFS Namenode HA显著提高了集群的可用性,所以要在HBase集群启用它。
编辑kylin.properties ,设置kylin.hbase.cluster.fs 的值为HBase集群的NN-HA路径
由于构建多维数据集的MR作业同时访问主集群和hbase集群,因此在任务运行期间可能会抛出异常。原因是任务需要使用与NN-HA相关的配置访问HBase集群,这些配置通常不在主集群中部署。
这些异常可以通过configs更新来解决。具体来说,合并两个集群的NN-HA相关配置,包括dfs.nameservices、dfs.ha.namenode .、dfs.client.failover.proxy.provider。和其他相关。这些配置也要更新到kylin服务器 和 Resource Manager的hdfs-site.xml中,以及 kylin job conf.xml.
然而,生产环境更新配置可能比较困难,这是另一种更新方式

  • 用 patch HBASE-14347更新kylin服务器中的HBase client,设置hbase-site.xml
    , hbase.use.dynamic.jar=false
  • 用 patch KYLIN-1910更新kylin服务器,设置kylin.properties ,kylin.hbase.cluster.hdfs.config.file=hbase.hdfs.xml ,hbase.hdfs.xml是指Hbase集群的 hdfs-site.xml ,把它放到kylin.properties同级目录中。
  • 用 patch YARN-3021 更新kylin服务器和resource manager的Hadoop

故障排查:

  • UnknownHostException occurs during Cube Building
    它通常与HBase HA nameservice配置一起发生,请参考上面的章节启用NN HA
  • ‘Error when open connection hbase’ during Kylin Server startup
    HBase在连接设置期间,尝试在hdfs上创建mkdir tmp dirs,但由于缺少与n -HA相关的配置而失败,请参阅Enable NN HA
  • Failed to submit cube building job
    在生成多维数据集构建作业期间将解析HBase集群路径,但由于缺少与n -HA相关的配置而失败,请参阅Enable NN HA
  • Cube Building Step ‘Convert Cuboid Data to HFile’ failed
    通常出现在Kerberos身份验证。资源管理器在作业提交时尝试更新所有令牌,HBase集群令牌的更新将失败,缺少与n -HA相关的配置,请参考Enable NN HA
  • HFile BulkLoading Stucks for long time
    检查regionserver日志,应该有很多错误日志,如WrongFS 异常。确认kylin.properites/kylin.hbase.cluster.fs 的namenode地址 和 HBase Naster的 hbase-site.xml/root.dir相同

** 以上是根据官网文档翻译得到,下面是别人写的,感觉挺好 **

使用Kylin构建企业大数据分析平台的4种部署方式

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 159,458评论 4 363
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 67,454评论 1 294
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 109,171评论 0 243
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 44,062评论 0 207
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,440评论 3 287
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,661评论 1 219
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,906评论 2 313
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,609评论 0 200
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,379评论 1 246
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,600评论 2 246
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,085评论 1 261
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,409评论 2 254
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 33,072评论 3 237
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,088评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,860评论 0 195
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,704评论 2 276
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,608评论 2 270

推荐阅读更多精彩内容

  • Zookeeper用于集群主备切换。 YARN让集群具备更好的扩展性。 Spark没有存储能力。 Spark的Ma...
    Yobhel阅读 7,147评论 0 34
  • kylin 在部署的时候需要考虑的几点:1,不能污染现有的大数据环境,通过大数据客户端的方式提供部署的机器。2,读...
    wangliang938阅读 2,868评论 0 6
  • 翻译: http://hadoop.apache.org/docs/stable/hadoop-project-d...
    金刚_30bf阅读 469评论 0 1
  • 【什么是大数据、大数据技术】 大数据,又称巨量资料,指的是所涉及的数据资料量规模巨大到无法在合理时间内通过传统的应...
    kimibob阅读 2,694评论 0 51
  • #幸福是需要修出来的~每天进步1%~幸福实修14班~静静知青春组chfenj # 20180223(33/60) ...
    chfenj阅读 83评论 0 0