flink的Snapshot

    flink的snapshot的算法在这篇论文,本文讲述也是基于这部分内容,如果有兴趣可以自行参考原文。

介绍

  目前已知的能够保证只执行一次(exactly once)语义,依赖于全局、一致性运行状态的快照。但是这么做有两个明显的缺点:

1. 同步的快照需要停止当前所有正在计算的任务

2. 需要保存很多计算无关的状态和记录,需要占用很多额外的空间。

实现方式

一种简单的实现方案可以分三步来进行:

1. 挂起所有正在执行的计算

2. 快照

3. 快照结束后,继续执行任务

这种实现方案最大的问题是对吞吐量和存储空间都有很大的影响,而且会依赖于上游发送方的数据备份。

Flink的ABS

Flink采用的是ABS(Asynchronous Barrier Snapshotting)算法。ABS只保存节点的状态,而不保存channel的状态。

无环图

无环图

1. 由中心调度节点(JobManager)向所有的source注入barrier。当source收到barrier,会对其当前状态做快照,并且广播到所有的output(如图a)

2. 当一个非source节点,收到barrier,那么其会阻塞当前的input,直到收到所有input的barrier(如图b)

3. 收到所有barrier之后,会保存当前的快照,并向所有的output广播barrier(如图c)

4. 快照结束后,解除input的阻塞,继续计算。全局的快照是所有的节点快照

环状图


环状图

环状图的快照和无环图不完全一致:

1. 首先环状可能会无限的收到某个input的barrier

2. 数据在环状随意流动,可能会丢失数据。

为了解决以上问题,Flink对之前的算法做了一些扩展

1. 通过深度优先查找,首先得到所有的back-edge(就是回路)

2. 运算过程中,当收到所有的barrier时候(不包括回路的barrier),开始备份所有从back-edge发过来的记录,直到收到back-edge的barrier(如图b)

3. 这样在循环里的记录会被记录到本次的快照,如图c

推荐阅读更多精彩内容