Flink sql 之 TopN 与 StreamPhysicalRankRule (源码解析).docxVIP

Flink sql 之 TopN 与 StreamPhysicalRankRule (源码解析) 实时数仓架构 2021-10-24 谢绝广告，从我做起 为了营造良好的学习环境，本谢绝一切训练媒体的广告投放！！！ 基于flink1.14的源码做解析 公司内有很多业务方都在使用我们Flink sql平台做TopN的计算，今日同事突然问到我，Flink sql 是怎样实现topN的 ？ 蒙圈了，这块源码没看过啊 ，业务要问起来怎样办，赶快打开源码补一下 拿到这个问题先冷静分析一下范围 首先确定属于Flink sql模块，源码里面确定是在flink-table-planner包里面，接着topN那不就是ROW_NUMBER嘛，是个函数呀 既然如此那就从flink源码的系统函数作为线索开头找起来，来到?org.apache.calcite.sql.fun.SqlStdOperatorTable类 果真找到了，那calcite的某个rule确定有个地方推断了它，连续查调用链 不出所料，FlinkLogicalRankRuleBase这个calcite的rule里面果真依据这个function的类型来确定rank的类型了 看下这个rule的婚配条件 ?这里也好理解，overAgg的时候会推断这个rank以及对应的类型 这是只是做了一下简约的提取了rank的字段啊，提取谓语啊，提取表达式啊这一些拿信息的操作 然后直接生成新的relNode叫FlinkLogicalRank通过transformTo直接前往了这个等价节点 既然是relNode那确定又会有calcite的rule去处理它，来找一找 批处理的就不管了，从名字就可以看出来我们要找的类了 看个不带window的吧 ?前往StreamPhysicalRank 这个类是一个FlinkPhysicalRel是可以转换成execNode的 这里在多说一句， 这里将partitionKey传入了，就是sql里面的partition by后面的，后面会用这个来创建transformation的keySelecter用来分流数据 前往的这个StreamExecRank就是可以转换成具体的Flink的算子了，具体规律就在里面了 接下来看下row_number的具体规律，找到方法translateToPlanInternal 依据策略次要分为三品种型 AppendFastStrategy? （输入仅包含插入时） RetractStrategy? ?（输入包含update和delete） UpdateFastStrategy? ? ?(输入不应包含删除且输入有给定的primaryKeys且按字段排序时) 来看个retractStrategy的吧 先通过sort的字段猎取一个用于排序RowData的比较器?ComparableRecordComparator 依据比较器创建?RetractableTopNFunction 这个类还有两个次要的形态数据结构 dataState这个map用来存放当key相同的全部数据会放在同一个list里面 treeMap这个可排序的map就是通过上面我们sql里面定义的sort by 来排序数据的，Long是指这个相同的key有多少个record !!!!!!!!!!!? 那就是用java的treeMap排序呗 连续往下看 ?主规律就是这个了 每进入一条数据，会依据这条数据的类型划分 当数据是Insert , UPDATE_AFTER类型是会走?emitRecordsWithRowNumber（）方法 当数据是UPDATE_BEFORE，DELETE类型会走?retractRecordWithRowNumber （）方法 来看下具体规律先看INSERT的 ?遍历treeMap 解读一下，当数据是insert数据的时候 INSERT数据会先放到treeMap里面去，delete则不会 按挨次遍历treeMap 当遍历过程中发觉遍历的key与当前数据的key相同时，和当前数据key相同的全部数据数据（dataState中的LIST），全部撤回并且更新他们的rowNumber+1 连续遍历treeMap 之后的数据全部撤回UpdateBefore，并且向下游发送UpdateAfter使rowNumber+1，遍历直到已经到第TopN个数据循环结束 ? 当数据是DELETE类型的时候，会和Insert反过来，当前key之后的数据全部撤回，然后rowNumber-1 ? 整个处理流程差不多就结束了，可以看到rowNumber当N较大且排序变化频繁的时候，功能消耗还是格外大的，极端情况下游的数据会翻很多倍 这个还需要留意在其他两个策略中还有一个参数，table.exec.to