现状
现实中的数据：无边界、乱序、超大规模数据集
数据消费需求：低延迟，exactly once, 有序（按发生时间排序），窗口（发生时间，处理时间，会话，记录数窗口）。
流式计算引擎：Storm, Spark Streaming, MillWheel。
批处理引擎：MapReduce, Spark, FlumeJava。
现实很骨感，理想很丰满，真实的数据处理需要在以下 3 方面来平衡
目标
输出一个模型，能够达到以下几个目标：
- 对无边界，无序的数据源，按照数据本身特征进行窗口计算，按照事件发生时间进行有序计算，并且能够在准确性，延迟，处理成本之间进行调整。
- 通过以下 4 个维度来解构数据管道实现：将计算什么结果；如果基于事件发生时间进行计算，将在什么地方进行；如果基于处理时间来计算的话，它们将在什么时候计算；早期的结果如何被后期修正；
- 将计算逻辑的表达从具体的计算引擎中抽离出来，达到可以根据准确性，处理成本，延迟来选择批处理引擎，微批处理引擎和流式计算引擎。
数据类型&计算引擎
定义一组术语，将数据类型称为有边界和无边界，而不是称为流&批，原因是流和批往往用来定义计算引擎。
故计算引擎分为流式计算框架和批式计算框架两种。当然既可以使用流式计算引擎来处理无边界和有边界两种数据，也可以使用批式计算框架来处理无边界和有边界两种数据。
时间
- 事件发生时间。事件发生时间是指当该事件发生时，该事件所在的系统记录下来的系统时间。
- 事件处理时间，指数据被处理时，数据处理系统当前的时间。
- 事件采集时间，指数据进入数据处理系统的时间。
事件发生时间一旦确认，将永远不会修改，而事件处理时间会随着数据处理系统的通信状态，调度延迟，数据序列化等工作不断摆动。理想情况下事件发生时间和事件处理时间不断接近为 0，表示事件刚发生就会被处理，系统的延迟性最低，实际情况却是下面这样子的。
水位标记（Watermarks）
水位标记是一个时间戳，它会在数据管道中进行传输，它代表小于这个时间戳的数据已经完全被系统处理了。但是在实际情况下，该值是不准确的，它是不可信的，完全依赖水位标记将直接影响数据处理的准确性。
窗口
- 固定窗口（翻转窗口），是按照固定时间来切分的，且同一个数据只存在于一个窗口内。
- 滑动窗口，是按照窗口大小和滑动周期来定义的。且同一个数据可能会存在于多个窗口中。固定窗口可以看成特殊的滑动窗口，即窗口大小和滑动周期大小相等。
-
会话窗口，在数据集上捕捉一段时间内的活动，一般来说会话按超时时间来定义，任何发生在超时时间以内的事件认为属于同一个会话。
窗口类型
触发器（Trigger）
触发器定义了什么时候将窗口的聚合结果输出，一般情况下，触发器包含三种触发机制：系统时间，Watermarks，数据特征。
窗格（Panes），用来记录一次窗口的聚合结果。
触发器还提供了三种模式来控制不同的窗格之间是如何相互关联的？
- 抛弃（Discarding）：窗口触发之后，窗口内容被抛弃，随后窗口计算的结果和之前的结果没有相关性。
- 累积（Accumulating）：窗口触发之后，窗口内容完整保留，随后窗口计算的结果是对上一次结果的修正。
- 累积和撤销（Accumulating and Retracting）：窗口触发之后，窗口内容完整保留，且能够对上一次结果进行撤销，然后再往下游发送本次结果，这种场景主要是针对连续 keyGroup 的场景。
样例
下图是一个乱序的输入，其中横坐标是事件发生时间，纵坐标是事件处理时间，数字代表了事件的内容。通过采用不同的计算引擎，不同的窗口触发模型来观察处理过程。
-
采用批处理的方式
批处理 -
全局窗口，周期触发，累积
周期触发和累积 -
全局窗口，周期触发，抛弃
image.png -
全局窗口，基于消息条数来触发，抛弃
image.png -
固定窗口，批量
image.png -
固定窗口，微批量
image.png -
固定窗口，流式
image.png
