同为流处理技术，Kafka Streams的API和更为人所熟知的Spark Streaming在很多方面有不少相似之处，比如大量类似的算子。因此，对于一个有Spark经验的工程师来说，编写一个Kafka Streams应用应该上手很快。

流处理概念

数据流（stream）

Stream是KafkaStream中最重要的概念，代表大小没有限制且不断更新的数据集(unbounded, continuously updating data set)，一个Stream是一个有序的，允许重复的不可变的数据集，被定义为一个容错的键值对。

处理拓扑（processor topology）

处理拓扑是整个流处理的运算逻辑，可以理解为一个图（graph）结构，其中的顶点是各个流处理器（stream processor），数据流（stream）则构成了边。

构建方法：

StreamsBuilder builder = new StreamsBuilder();

在实例化StreamBuilder来构建了处理拓扑后，就可以从Kafka抽取topic中的数据：

KStream<String, String> textLines = builder.stream("stream-in");

并调用算子对数据流进行变换（map/filter/...）

流处理器（processor）

流处理器代表了处理拓扑中的不同步骤，并完成相应的数据转换。
这里，我们着重介绍使用DSL API的由不同算子（map/filter/selectKey...）来定义流处理器的方法。

无状态 & 有状态

无状态（stateless）

无状态（stateless）意味着数据转换的结果仅仅取决于你目前正在处理的数据。

• map
• filter

有状态（stateful）

有状态（stateful）意味着数据转换的结果依赖于一个外部的状态（state），比如一个外部的表格。

• join
• 各类聚合（aggregation）操作
• count （需要之前数据记录的信息）

窗口操作（windowing operation）

窗口操作（windowing operation）不同于Kafka Streams基础的per-record处理方法，它支持将一段时间内的数据集合起来，再一起处理。
比如某些场合希望分析所有产生于前一天/前一个小时的数据。

KStream与KTable

这部分内容可以参考另一篇博文什么是KStream和KTable。

流处理算子

mapValues & map

输入一条记录，输出一条经过变换的记录。

uppercased = stream.mapValues(value -> value.toUpperCase())

flatMapValues & flatMap

输入一条记录，输出0条，1条或更多经过变换的记录。

words = sentences.flatMapValues(value -> Arrays.asList(value.split(" ")))

/*
                                          (1, "hello")
    (1, "hello world")   -->  
                                          (1, "world")
*/

filter

输入一条记录，输出0条或1条记录。

并不会改变记录本身，也不会触发re-partitioning。
KStream与KTable都可以调用。

KStream<String, Long> positives = stream.filter((key, value) -> value > 0)

selectKey

为数据记录赋一个新的key（从旧的key和value转换而来）

可能触发re-partitioning

rekeyed = stream.selectKey((key, vlaue) -> key.substring(0, 1))

groupByKey

在aggregation操作之前

仅对KStream适用。

• KStream → KGroupedStream

stream.groupByKey().count()

groupBy

相当于selectKey() + groupByKey()

• KStream → KGroupedStream
• KTable → KGroupedTable

可能触发re-partitioning

stream.groupBy(
    (key, value) -> value,
    Serialized.with(
      Serdes.String(), /* key (note: type was modified) */
      Serdes.String())  /* value */
  );