Flink原理与实践-Flink时间和窗口.pdfVIP

第五章 时间和窗口 三种时间语义 • 事件到达Flink的时间可能是乱序的 • Event Time ： • 事件发生的时间 • 无需担心乱序到达问题 • Watermark假设不会有更晚的数据 • 需要用缓存存储中间数据，增大了延迟 • Processing Time ： • 当前节点的系统时钟时间 • 计算结果有不确定性 • 不需要设置Watermark • 延迟较低 • Ingestion Time • 事件到达Flink Source的时间 • 不需要设置Watermark • 延迟较低 设置时间语义 • 在执行环境层面设置使用哪种时间语义 env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime); • TimeCharacteristic.EventTime • TimeCharacteristic.ProcessingTime • TimeCharacteristic.IngestionTime l fromElements() 或 fromCollection() 创建的 DataStream 应该使用 Event Time ，并对数据 流中的每个元素的Event Time赋值 l 使用带时序性的Source ：Socket 、Kafka等 l 或者不带时序性的Source ，使用Event Time ，并生成Watermark ：文件等 Event Time 和 Watermark • Event Time 时间语义 • 使用时间戳为数据流中的每个事件的Event Time赋值 • 生成Watermark • Unix时间戳系统、毫秒精度 • Watermark是插入到数据流中的一种特殊数据结构，它包 含一个时间戳，并假设后续不会有小于该时间戳的数据 • Watermark时间戳必须单调递增 • Watermark与事件时间越紧凑，越容易产生延迟数据；越 宽松，等待时间越长、延迟越高 分布式环境下Watermark的传播 • Watermark需要在并行环境下向前传播 • 每个算子子任务维护一个针对该子任务的Event Time时钟 ，时钟记录了这个算子子任务的处理 速度 • 上游算子的Watermark数据不断向下发送，算子子任务的Event Time时钟也要不断向前更新 • 每个算子子任务也要维护来自上游多个分区的Watermark信息： Partition Watermark 分布式环境下Watermark的传播 • Flink先判断新流入的Watermark时间 戳是否大于Partition Watermark列表 内该分区的历史Watermark时间戳 ， 大于则更新该Partition Watermark时 间戳 • 遍历Partition Watermark列表，选择 最小的作为该算子子任务Event Time 时钟，如果更新了Event Time时钟， 则将更新的Event Time作为 Watermark发送给下游所有算子子任 务 抽取时间戳及生成Watermark • 抽取时间戳 和 生成Watermark 两者紧密结合 • 只在Event Time语义下有效 • 时间越早设置越好 • 设置方法： • 在Source中设置 • 在Source之后设置 Source • 老的Source接口： class MySource extends RichSourceFunction[MyType] { @Ov