原创力文档- 1、本文档共51页，可阅读全部内容。
- 2、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。
- 3、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
- 5、该文档为VIP文档，如果想要下载，成为VIP会员后，下载免费。
- 6、成为VIP后，下载本文档将扣除1次下载权益。下载后，不支持退款、换文档。如有疑问请联系我们。
- 7、成为VIP后，您将拥有八大权益，权益包括：VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 8、VIP文档为合作方或网友上传，每下载1次， 网站将根据用户上传文档的质量评分、类型等，对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
时间和窗口;本章将重点介绍Flink的时间和窗口相关知识。通过本章的学习我们将了解不同时间语义下对数据流的相关处理。Window是Flink流计算的核心，我们将带着大家学习窗口的生命周期，不同类型窗口的相关操作等。;通过本节学习您将可以：
熟悉Flink的时间语义。
熟悉Flink最底层的API：ProcessFunction。
掌握窗口以及窗口上的计算。
掌握数据流上的Join操作。
了解如何处理迟到数据。
;Flink的时间语义
ProcessFunction系列函数
窗口算子的使用
双流关联
处理迟到数据;;在执行环境层面设置使用哪种时间语义
TimeCharacteristic.EventTime
TimeCharacteristic.ProcessingTime
TimeCharacteristic.IngestionTime
fromElements()或fromCollection()创建的DataStream应该使用EventTime，并对数据流中的每个元素的EventTime赋值
使用带时序性的Source：Socket、Kafka等
或者不带时序性的Source，使用EventTime，并生成Watermark：文件等
;EventTime时间语义
使用时间戳为数据流中的每个事件的EventTime赋值
生成Watermark
Unix时间戳系统、毫秒精度
Watermark是插入到数据流中的一种特殊数据结构，它包含一个时间戳，并假设后续不会有小于该时间戳的数据
Watermark时间戳必须单调递增
Watermark与事件时间越紧凑，越容易产生延迟数据；越宽松，等待时间越长、延迟越高;Watermark需要在并行环境下向前传播
每个算子子任务维护一个针对该子任务的EventTime时钟，时钟记录了这个算子子任务的处理速度
上游算子的Watermark数据不断向下发送，算子子任务的EventTime时钟也要不断向前更新
每个算子子任务也要维护来自上游多个分区的Watermark信息：PartitionWatermark
;Flink先判断新流入的Watermark时间戳是否大于PartitionWatermark列表内该分区的历史Watermark时间戳，大于则更新该PartitionWatermark时间戳
遍历PartitionWatermark列表，选择最小的作为该算子子任务EventTime时钟，如果更新了EventTime时钟，则将更新的EventTime作为Watermark发送给下游所有算子子任务
;抽取时间戳和生成Watermark两者紧密结合
只在EventTime语义下有效
时间越早设置越好
设置方法：
在Source中设置
在Source之后设置;老的Source接口：
实现SourceFunction或RichSourceFunction
抽取时间戳：collectWithTimestamp()
生成Watermark：emitWatermark()
;assignTimestampsAndWatermarks()方法：
Flink1.11之后进行了重构
WatermarkStrategy
抽取时间戳：withTimestampAssigner()
.withTimestampAssigner((event,timestamp)-event.eventTime)
生成Watermark：forGenerator()
实现自己的Watermark策略
周期性地Periodic
逐个式地Punctuated;周期可以设置
默认每200毫秒生成一次
env.getConfig.setAutoWatermarkInterval(5000L)
实现WatermarkGenerator
onEvent()：数据流中每个元素到达后调用该方法
onPeriodicEmit()：定期发射Watermark
MyPeriodicGenerator
currentMaxTimestamp记录已抽取的时间戳最大值
时间戳最大值减1分钟作为Watermark发送出去;用forGenerator()方法调用MyPeriodicGenerator类
基于时间戳最大值的场景比较普遍，Flink做了进一步封装
BoundedOutOfOrdernessWatermarks
forBoundedOutOfOrderness()方法
AscendingTimestampsWatermarks
EventTime时间戳单调递增
forMonotonousTimestamps()方法
;数据流元素有特殊标记，标记哪些元素为Watermark
根
文档评论（0）