简单自我介绍一下，80后，复旦研究生毕业，微软数据分析师，微软上海Toastmaster俱乐部主席，辣妈。
擅长领域：数据分析，数据可视化，科学喂养，亲子阅读，美食鉴赏。
18年9月底，加入张江一家人工智能公司，云享智慧，BI工程师。
工作流调度系统：由大量任务单元组成：shell脚本程序，java程序，mapreduce程序、hive脚本等。
原始数据进来的处理步骤如下所示：
1、 通过Hadoop先将原始数据同步到HDFS上；
2、 借助MapReduce计算框架对原始数据进行转换，生成的数据以分区表的形式存储到多张Hive表中；
3、 需要对Hive中多个表的数据进行JOIN处理，得到一个明细数据Hive大表；
4、 将明细数据进行复杂的统计分析，得到结果报表信息；
5、 需要将统计分析得到的结果数据同步到业务系统中，供业务调用使用。
现成的开源调度系统，比如ooize、azkaban等。ooize相比azkaban是一个重量级的任务调度系统，功能全面，但配置使用也更复杂。如果可以不在意某些功能的缺失，轻量级调度器azkaban是很不错的候选对象。
*目前azkaban只支持 mysql,需安装mysql服务器
