FlinkSQL在京东实时维度建模中的应用.docxVIP

Flink SQL在京东实时维度建模中的应用 01问题 在维度建模中有很多技术场景，本文挑选其中两个较难的场景来进行详细阐述。 问题一 实时多流全量关联的问题 select * from A full join B on A.name = B.name; 此问题关联SQL比较简单，只有A流和B流两个实时流进行full join，但还可能涉及到其中有一流数据需要关联全量历史数据。 问题二 实时流全量分组计算的问题 select?id,name,val,row_number()?over(partition?byname?order?by?val)?as?rn?from?A;select name,min(val) from A group by k; 这个问题是实时流全量分组计算，涉及到分组排序值，或者分组求最小值等操作。 针对以上两个问题，似乎使用SQL处理起来比较简单，甚至我们可以直接用Flink SQL去完成。而实际直接使用以上Flink SQL计算存在若干问题。第一个问题是在最初生产数据的时候，可能并没有接入实时数据流。在实际场景中，往往需要在过程中接入实时数据。比如接入binlog之类的数据，其实是从当前时刻到未来这一时间段。例如商品SPU信息，一般需要有历史数据。只有获取历史数据，在订单数据流关联的时候，才能关联上这个订单所对应的历史信息。如果商品信息都是从产生后一段时间