Flink自定义实现端到端的exactly.docxVIP

第 第 PAGE 1 页 共 NUMPAGES 1 页 Flink自定义实现端到端的exactly Flink 中有两个 Exactly-Once 语义实现，一个是 Kafka，另一个是 StreamingFileSink。  参考他们实现的规律，来自定义实现端到端exactly-once语义。  分析：  Flink的checkpoint机制（通过Chandy-Lamport）：  JobManager的CheckpointCoordinator通过在stream中添加barrier，当barrier前的数据的全部operator的checkpoint都操作完成并返回CheckpointCoordinator，才代表此次checkpoint执行完成；  checkpoint机制可以保证不丢数据，由于每次复原的时候都是从最后一次checkpoint胜利的地方开头处理，这样可能会重复处理某些数据，实现了at-least-once，没法做到exactly-once语义；  flink提供了TwoPhaseCommit两阶段提交机制：pre-commit预提交和commit正式提交，其中pre-commit不是真正提交了，可以回滚的，当两次checkpoint间某operator挂了，此时s