《数据实时处理flink》课件——第七章 Flink连接器.pptxVIP

Flink连接器;本章将详细介绍Flink的Connector相关知识。在实际生产环境中，数据可能存放在不同的系统中，比如文件系统、数据库或消息队列。一个完整的Flink作业包括Source和Sink两大模块，Source和Sink肩负着Flink与外部系统进行数据交互的重要功能，它们又被称为连接器（Connector）。;通过本节学习您将可以：

掌握Flink端到端的Exactly-Once保障。

掌握自定义Source和Sink。

熟悉Flink中常用的Connector，如文件系统、Kafka等。

;端到端的Exactly-Once

自定义Source和Sink

常用流式连接器;;幂等写（IdempotentWrite）：任意多次向一个系统写入数据，只对目标系统产生一次结果影响：

重复向一个HashMap里插入同一个Key-Value对，第一次插入时这个HashMap发生变化，后续的插入操作不会改变HashMap的结果。

Key-Value必须是可确定性（Deterministic）计算的：

Key为name+curTimestamp，curTimestamp一直变化，Key非可确定性

Key为name+eventTimestamp，EventTime确定，Key可确定性

有短暂的数据闪回现象：只有当后续所有数据都重发一遍后，所有应该被覆盖的Key都被最新数据覆盖后，整个系统才达到数据的一致状态。;事务写（TransactionWrite）：Flink先将待输出的数据保存下来暂时不向外部系统提交，等待Checkpoint结束的时刻，Flink上下游所有算子的数据都是一致时，将之前保存的数据全部提交（Commit）到外部系统：

预写日志（Write-Ahead-Log，WAL）

两阶段提交（Two-Phase-Commit，2PC）

Write-Ahead-Log方式使用OperatorState缓存待输出的数据

Two-Phase-Commit方式需要外部系统自身就支持事务（比如Kafka）

端到端的Exactly-Once，牺牲了低延迟，数据分批次地提交;端到端的Exactly-Once

自定义Source和Sink

常用流式连接器;Flink在1.11对Source进行了重构，改动较大，之前的称为老Source接口，之后的称为新Source接口

老Source接口实现SourceFunction：

接口类SourceFunction

Rich函数类RichSourceFunction

必须实现两个方法：run()和cancel()方法：

run()方法：Source启动后开始运行，在方法中使用循环，循环内不断向下游发送数据

cancel()方法：停止向下游继续发送数据;使用标志位isRunning标记Source是否在运行

run()方法内一直循环，使用SourceContext.collect()方法收集数据，发送到下游

停止Source时，要修改标志位isRunning

主逻辑中调用：;前页的例子没有进行任何Checkpoint，重启后从0重新开始，为了整个作业重启后可恢复，Source需要支持重发，将Offset作为状态记录下来

使用OperatorState记录Offset,需要继承CheckpointedFunction接口类，实现snapshotState()和initializeState()方法

整个作业第一次启动时，调用initializeState()方法，offset为0，之后每隔一段时间调用snapshotState()将状态数据进行Checkpoint

;在Source发送数据时也设置数据对应的时间戳，并生成Watermark：

collectWithTimestamp()方法，发送数据的同时也设置时间戳

emitWatermark()方法，生成Watermark

越早设置时间戳和Watermark，越能保证整个作业在时间序列上的准确性和健壮性;老Source接口只适合流处理，不适合批处理，新的Source接口统一了流批处理，提供了更大规模并行处理能力

三个组件：

分片（Split）：将数据源切分后的一小部分。

读取器（SourceReader）：在TaskManager上，负责Split的读取和处理，可分布式地并行运行。例如，单个SourceReader可以读取文件夹里的单个文件，多个SourceReader实例共同完成读取整个文件夹的任务。

分片枚举器（SplitEnumerator）：在JobManager上，负责发现和分配Split，按照负载均衡策略将多个Split分配到多个SourceReader。

;接口类SinkFunction

Rich函数类RichSin