Azkaban使用笔记

简单自我介绍一下,80后,复旦研究生毕业,微软数据分析师,微软上海Toastmaster俱乐部主席,辣妈。

擅长领域:数据分析,数据可视化,科学喂养,亲子阅读,美食鉴赏。

18年9月底,加入张江一家人工智能公司,云享智慧,BI工程师。

工作流调度系统:由大量任务单元组成:shell脚本程序,java程序,mapreduce程序、hive脚本等。

原始数据进来的处理步骤如下所示:

1、  通过Hadoop先将原始数据同步到HDFS上;

2、  借助MapReduce计算框架对原始数据进行转换,生成的数据以分区表的形式存储到多张Hive表中;

3、  需要对Hive中多个表的数据进行JOIN处理,得到一个明细数据Hive大表;

4、  将明细数据进行复杂的统计分析,得到结果报表信息;

5、  需要将统计分析得到的结果数据同步到业务系统中,供业务调用使用。

现成的开源调度系统,比如ooize、azkaban等。ooize相比azkaban是一个重量级的任务调度系统,功能全面,但配置使用也更复杂。如果可以不在意某些功能的缺失,轻量级调度器azkaban是很不错的候选对象。

*目前azkaban只支持 mysql,需安装mysql服务器

推荐阅读更多精彩内容

  • 春天到了 我家小区尤有野趣,一到春天就用各种绿的草红的花黄的落叶提醒着 搞得我这个对四节时序尤其麻木的人都不得不乖...
    自由意志神马的阅读 105评论 0 1
  • 你好,另一个我! 昨日拍了职业形象照。这里有个小奇迹。朋友分享给我的时候显示店铺地点在下沙区,地铁过去至少单程一个...
    逍遥仙子mjx阅读 26评论 0 0
  • 所谓曾经人。 从前一段时间里,就有某个人出现。因为一个机缘。你们或者是同事,或者是朋友,或者是同学,或者,是亲人。...
    唐戒哉阅读 69评论 0 0
  • 宫外孕是怎么引起的呢?“宫外孕”三个字足以让一个女性感到恐惧,也算是女性的一场噩梦,严重的影响了女性的身体和生育健...
    妇产小知识阅读 577评论 0 0