[译] Flink 内部系统架构

官网地址: https://ci.apache.org/projects/flink/flink-docs-release-1.7/internals/components.html

从软件架构来看,Flink 属于分层系统:

  • Runtime 层接收 JobGraph 形式的计划,JobGraph 中有消费和生成数据流的各种任务。
  • DataStream APIDataSet API 都通过单独的编译处理生成 JobGraphs。DataSet API 使用优化器来确定程序的最佳计划,而 DataStream API 使用流构建器。
  • JobGraph 根据 Flink 中可用的各种部署选项执行(例如:本地、远程、YARN等)
  • Libraries 和 APIs 与Flink 的 DataSet API、 DataStream API 绑在一起。这些 Table 用于逻辑表的查询、机器学习的 FlinkML 和图形处理的 Gelly。
Flink 内部系统架构

推荐阅读更多精彩内容