Flink反压机制详解:分布式缓冲队列与任务间缓冲感知.pdfVIP

  • 1
  • 0
  • 约1.65千字
  • 约 2页
  • 2026-05-29 发布于北京
  • 举报

Flink反压机制详解:分布式缓冲队列与任务间缓冲感知.pdf

flink反压机制:flink利用自身作为纯数据流的特性优雅的实现反压机

制,flink采用了有界的分布式阻塞队列,类似生产者消费者模式,一

个较慢的接受者会减慢发送者的发送速率,因为一旦队列满了,发送者

就会被阻塞:分布式缓冲队列使用缓冲池localBufferPoll实现,每个

生产者和被消费者的流都会分配一个缓冲池,缓冲池管理一组缓冲,缓

冲被消费可以循环使用。任务之间的缓冲感知,本地传输:如果

taska和taskb都在同一个taskmanager节点上,a是b的上游,一

旦b消费缓存的速度小于a生产缓存的速度,那么

文档评论(0)

1亿VIP精品文档

相关文档