SQL查询组FlinkSQL流式查询引擎深度解析98课件.pptxVIP

SQL查询主讲人：课程组——FlinkSQL流式查询引擎深度解析

目录CATALOG0203基础查询操作04高级聚合操作0506特殊流处理语法关联查询操作其他相关操作01测试环境创建

测试环境创建01

1.创建数据生成器源表、输出表CREATETABLEsource(idINT,tsBIGINT,vcINT)WITH(connector=datagen,rows-per-second=1,fields.id.kind=random,fields.id.min=1,fields.id.max=10,fields.ts.kind=sequence,fields.ts.start=1,fields.ts.end=1000000,fields.vc.kind=random,fields.vc.min=1,fields.vc.max=100);源表输出表INSERTINTOsinkSELECT*FROMsource;流式传输CREATETABLEsink(idINT,tsBIGINT,vcINT)WITH(connector=print);输出表

2.输出结果+I[id=7,ts=1,vc=42]+I[id=3,ts=2,vc=75]+I[id=9,ts=3,vc=18]+I[id=2,ts=4,vc=91]+I[id=5,ts=5,vc=33]+I[id=8,ts=6,vc=67]+I[id=1,ts=7,vc=24]+I[id=10,ts=8,vc=59]+I[id=4,ts=9,vc=86]+I[id=6,ts=10,vc=11以下将根据上述输出内容做相关的SQL查询案例。

基础查询操作02

1.With子句WITHsource_with_totalAS(SELECTid,vc+10AStotalFROMsource)SELECTid,SUM(total)FROMsource_with_totalG8ROUPBYid;WITH提供了一种编写辅助语句的方法，以便在较大的查询中使用。这些语句通常被称为公共表表达式(CommonTableExpression,CTE)，可以认为它们定义了仅为一个查询而存在的临时视图。WITHwith_item_definition[,...]SELECT...FROM...;with_item_defintion:with_item_name(column_name[,...n])AS(select_query)语法案例

2.SELECTWHERE子句SELECT*FROMsourceSELECTid,vc+10FROMsource自定义Source的数据SELECTid,priceFROM(VALUES(1,2.0),(2,3.1))ASt(order_id,price)SELECTvc+10FROMsourceWHEREid10SELECTselect_listFROMtable_expression[WHEREboolean_expression]语法案例

3.SELECTDSITINCT子句对于流查询，计算查询结果所需的状态可能无限增长。状态大小取决于不同行数。可以设置适当的状态生存时间(TTL)的查询配置，以防止状态过大。但是，这可能会影响查询结果的正确性。如某个key的数据过期从状态中删除了，那么下次再来这么一个key，由于在状态中找不到，就又会输出一遍。DISTINCT是SQL中用于去除查询结果中重复行的关键字，确保返回的结果集唯一。它通常用于SELECT语句，支持单列或多列去重，并可结合其他关键字（如ORDERBY、GROUPBY）使用——本质上就是根据key进行数据去重SELECTDISTINCTvcFROMsource案例

高级聚合操作03

1.分组聚合这种聚合方式，就叫作“分组聚合”（groupaggregation）。想要将结果表转换成流或输出到外部系统，必须采用撤回流（retractstream）或更新插入流（upsertstream）的编码方式；如果在代码中直接转换成DataStream打印输出，需要调用toChangelogStream()。分组聚合既是SQL原生的聚合查询，也是流处理中