Flink中数据广播及处理方式详解.pdfVIP

《036_flink中的数据广播是如何处理的？》

数据交换的模式

task0的实例1，他要把实时计算出来的数据，写到某个ResultSubPartition，下游的task有

多少个实例，一般来说就有多少个数据分区

task1有3个实例，task0的实例1就需要有3个数据分区（Partition），他每次计算完毕的

数据就需要选择写入到哪个数据分区里去，如何决定计算好的数据写入到哪个下游task实

例的数据分区里去呢？

hash、random、broadcast

你在flink开发作业的时候，用了groupby算子，我希望对数据进行分组再聚合，分组的策

略是根据字段orderid来进行分组，我希望把同一个orderid对应的数据，都交给下游的同

一个task实例来进行处理，此时下游的task实例，就可以对同一个orderid对应的数据，进

行一定的逻辑处理

random，计算好的数据，可以随机的写入到任何一个分区里去，此时可能就会随机的交付

给下游的某个Task实例来计算和处理，如果你没有用groupby，普通的算子，map，filter，

数据可以随机分配给下游的任何一个Task实例来处理