Flink反压机制原理与分布式流量控制实现.pdfVIP

flink反压机制：flink利用自身作为纯数据流的特性优雅的实现反压机

制，flink采用了有界的分布式阻塞队列，类似生产者消费者模式，一个

较慢的接受者会减慢发送者的发送速率，因为一旦队列满了，发送者就

会被阻塞：分布式缓冲队列使用缓冲池localBufferPoll实现，每个生产

者和被消费者的流都会分配一个缓冲池，缓冲池管理一组缓冲，缓冲被

消费可以循环使用。任务之间的缓冲感知，本地传输：如果taska

和taskb都在同一个taskmanager节点上，a是b的上游，一旦b消

费缓存的速度小于a生产缓存的速度，那么会造成a中缓冲池的缓存堆

积，从而导致task1的降速；网络传输，如果taska和taskb工作在不

同的节点，那么缓冲通过传输到网络（tcp）中被回收，实现缓冲池释放，

而且网络中可以通过设置水位值防止网络中数据太多；当接收端消费速

度小于生产端的生产速度时，会逐渐导致生产端缓冲池空间无法回收从

而实现task1的降速。