Flink原理与实践-Flink状态和检查点.pdfVIP

第六章 状态和检查点 什么是有状态的计算 • 有状态计算的潜在场景 • 数据去重：需要记录哪些数据已经流入过应用，当新数据流入时，根据已流入数据 去重 • 检查输入流是否符合某个特定模式：之前流入的数据以状态的形式缓存下来 • 对一个窗口内的数据进行聚合分析，比如分析一小时内某项指标75分位值或99分 位值 • Flink分布式计算，一个算子有多个算子子任务 • 状态可以被理解为某个算子子任务在当前实例上的一个变量，变量 记录了数据流的历史信息，新数据流入，可以结合历史信息来进行 计算 • 接收输入流 / 获取对应状态 / 更新状态 状态管理的难点 • 要解决问题： • 实时性，延迟不能太高 • 数据不丢不重、恰好计算一次，尤其发生故障恢复后 • 程序的可靠性要高，保证7*24小时稳定运行 • 难点 • 不能将状态直接交由内存，因为内存空间有限 • 用持久化的系统备份状态，出现故障时，如何从备份中恢复 • 需要考虑扩展到多个节点时的伸缩性 • Flink解决了上述问题，提供有状态的计算API Flink的几种状态类型 l Managed State 和 Raw State • 托管状态（Managed State ）是由Flink管理的，Flink帮忙存储、恢复和优化 • 原生状态（Raw State ）是开发者自己管理的，需要自己序列化 l Managed State又细分为Keyed State和Operator State   Managed State Raw State 状态管理方式 Flink Runtime托管，自动存储、自动恢复、自动伸缩 用户自己管理 状态数据结构 Flink提供的常用数据结构，如ListState、MapState等 字节数组 ：byte[] 使用场景 绝大多数Flink函数 用户自定义函数 Keyed State和Operator State l Keyed State是KeyedStream上的状态，每个Key共享一个状态 l Operator State每个算子子任务共享一个状态 Keyed State Operator State 相同Key的数据可以访问、更新这个状态 流入这个算子子任务的所有数据可以访问、更新这个状态 Keyed State和Operator State l Keyed State和Operator State都是基于本地的，每个算子子任务维护着自身的状态，不能访问其他算子子任务的状态 l 具体的实现层面，Keyed State需要重写Rich Function函数类，Operator State需要实现CheckpointedFunction等接口   Keyed State Operator State 适用算子类型 只适用于KeyedStream上的算子 可以用于所有算子 状态分配 每个Key对应一个状态 一个算子子任务对应一个状态 创建和访问方式 重写Rich Function，通过里面的 实现CheckpointedFunction等接口 RuntimeContext访问 横向扩展 状态随着Key 自动在多个算子子任务上 有多种状态重新分配的方式 迁移 支持的数据结构