04flink核心概念与编程模型二.pdfVIP

Flink实战 主讲人：李 Flink实战 — Flink 概念与编程模型(二) 主讲人：李 Windows • 从Stream和Batch的区别说起(count, sum等聚合操作) • Windows是什么？Stream特有 • Windows的类型 –Count Windows –Time Windows • Tumbling Window (翻滚窗口，无重叠) • Sliding Window(滑动窗口，有重叠) • Session Window (类似于Web编程里的Session，以不活动间隙作为分隔) – 自定义Windows 各种Time •Event Time •Ingestion Time •Processing Time •与window 结合 Stateful Operations • 什么是状态 state 指一个具体的task/operator的状 态 • Operator State Operator State跟一个特定operator的一个并发实 例绑定，整个operator只对应一个state。 •Keyed State 基于KeyedStream上的状态。这个状态是跟特定的 key绑定的，对KeyedStream流上的每一个key，可 能都对应一个state。 • 原始状态和托管状态 Keyed State和Operator State，可以以两种形式 ：原始状态和托管状态（ Flink框架管理的状 态） • State Backend (rocksdb + hdfs) Checkpoints (备份) • 什么是checkpoint –所谓checkpoint，就是在某一时刻，将所有task的状态做一个快照 (snapshot)，然后 到State Backend • 轻量级容错机制 • 保证exactly-once 语义 • 用于内部失败的恢复(自动) • 基本原理(面试经常问) –通过往source 注入barrier –barrier作为checkpoint的标志 • 无需人工干预 Savepoint • 流处理过程中的状态历史版本 • 具有可以replay的功能 • 外部恢复(应用重启和升级) • 两种方式触发 –Cancel with savepoint –手动主动触发 • savepoint可以理解为是一种特殊的checkpoint，savepoint就是指向checkpoint的 一个指针，需要手动触发，而且 过期， 被覆盖，除非手动删除。正常情况 下的线上环境是不需要设置savepoint的。除非对job或集群做出 改动的时候， 需要进 试运行。