flink 水印作用

flink 水印作用：告知窗口，数据集合完毕，可以启动计算。

由于消息可能是乱序的，所以flink操作符无法直接确认何时所有属于该时间窗口的消息全部流入此操作符，从而无法执行计算过程。这个问题可以通过WaterMark机制来解决。

Flink的数据源在确认所有小于某个时间戳的消息都已输出到Flink流处理系统后，会生成一个包含该时间戳的WaterMark，插入到消息流中输出到Flink流处理系统中，Flink操作符按照时间窗口缓存所有流入的消息，当操作符处理到WaterMark时，它对所有小于该WaterMark时间戳的时间窗口数据进行处理。

Watermark 是 Apache Flink 为了处理 Event Time 窗口计算提出的一种机制，本质上是一种时间戳。 一般来讲Watermark经常和Window一起被用来处理乱序事件。

Flink水印的本质是DataStream中的一种特殊元素，每个水印都携带有一个时间戳。当时间戳为T的水印出现时，表示事件时间t <= T的数据都已经到达，即水印后面应该只能流入事件时间t > T的数据。也就是说，水印是Flink判断迟到数据的标准，同时也是窗口触发的标记。

为了形象地说明水印的作用，参考一下下面的图，是一个乱序的基于事件时间的数据流示例。

图中的方框就是数据元素，其中的数字表示事件时间，W(x)就表示时间戳是x的水印，并有长度为4个时间单位的滚动窗口。假设时间单位为秒，可见事件时间为2s、3s、1s的元素都会进入区间为[1s, 4s]的窗口，而事件时间为7s的元素会进入区间为[5s, 8s]的窗口。当水印W(4)到达时，表示已经没有t <= 4s的元素了，[1s, 4s]窗口会被触发并计算。同理，水印W(9)到达时，[5s, 8s]窗口会被触发并计算，以此类推。