Flink原理与实践-Flink连接器.pdfVIP

第七章 Flink连接器 端到端Exactly-Once • Exactly-Once ：某条数据投递到某个流处理系统后，该 系统对这条数据只处理一次 • 有数据重发（Replay ）问题：作业重启后，Source必 须从某个Offset位置重新发送数据 • 数据重发会导致一条输入数据可能多次影响下游系统， 有可能产生At-Least-Once的效果，没有达到Exactly- Once的效果 • 为了达到端到端的Exactly-Once ，必须： • Source有重发功能 • Sink支持幂等写或事务写 幂等写 l 幂等写（Idempotent Write ）：任意多次向一个系统写入数据，只对目标系统产生一次结果影响： • 重复向一个HashMap里插入同一个Key-Value对，第一次插入时这个HashMap发生变化，后续的插入操作 不会改变HashMap的结果。 l Key-Value必须是可确定性（Deterministic ）计算的： • Key为name + curTimestamp curTimestamp一直变化 Key非可确定性 • Key为name + eventTimestamp Event Time确定 Key可确定性 l 有短暂的数据闪回现象：只有当后续所有数据都重发一遍后，所有应该被覆盖的Key都被最新数据覆盖后，整个 系统才达到数据的一致状态。 事物写 l 事务写（Transaction Write ）：Flink先将待 输出的数据保存下来暂时不向外部系统提交， 等待Checkpoint结束的时刻，Flink上下游所 有算子的数据都是一致时，将之前保存的数据 全部提交（Commit ）到外部系统： • 预写日志（Write-Ahead-Log ，WAL ） • 两阶段提交（Two-Phase-Commit ，2PC ） l Write-Ahead-Log方式使用Operator State 缓存待输出的数据 l Two-Phase-Commit方式需要外部系统自身 就支持事务（比如Kafka ） l 端到端的Exactly-Once ，牺牲了低延迟，数 据分批次地提交 Source接口 l Flink在1.11对Source进行了重构，改动较大，之前的称为 Source接口，之后的称为新Source接口 l Source接口实现SourceFunction ： // Source启动后调用run方法，生成数据向下游发送 void run(SourceContextT ctx) throws Exception; • 接口类SourceFunction // 停止 • Rich函数类RichSourceFunction void cancel(); l 必须实现两个方法：run()和cancel()方法： • run()方法：Source启动后开始运行，在方法中使用循环，循环内不断向下游发送数据 • cancel()方法：停止向下游继续发送数据 老Source接口 private static class SimpleSource implements SourceFunctionTuple2String, Integer { l 使用标志位isRunning标记Source是否 private int offset = 0; 在运行 private boolean isRunning = true;