《数据实时处理flink》课件——第四章 DataStream API的介绍和使用.pptVIP

stock:股票rebalance()与rescale()的区别:rebalance:轮询分配所有下游rescale:与当前节点的同一个TaskManager中轮询使用Lambda表达式Collector用来收集元素flatMap()虚方法中不使用return返回数据，使用Collector收集返回数据CollectorString中的泛型String为返回数据类型将flatMap()看做map()和filter()更一般的形式map()和filter()的语义更明确单数据流转换-flatMapDataStreamStringdataStream=senv.fromElements(HelloWorld,HellothisisFlink);//split函数的输入为HelloWorld输出为Hello和World组成的列表[Hello,World]//flatMap将列表中每个元素提取出来//最后输出为[Hello,World,Hello,this,is,Flink]DataStreamStringwords=dataStream.flatMap((Stringinput,CollectorStringcollector)-{for(Stringword:input.split()){ collector.collect(word);}}).returns(Types.STRING);数据分组后可进行聚合操作keyBy()将一个DataStream转化为一个KeyedStream聚合操作将KeyedStream转化为DataStreamKeyedStream继承自DataStream基于Key的分组转换根据某种属性或数据的某些字段对数据进行分组对一个分组内的数据进行处理股票：相同股票代号的数据分组到一起相同Key的数据被分配到同一算子实例上需要指定Key数字位置字段名KeySelector基于Key的分组转换-keyByDataStreamTuple2Integer,DoubledataStream=senv.fromElements( Tuple2.of(1,1.0),Tuple2.of(2,3.2), Tuple2.of(1,5.5),Tuple2.of(3,10.0),Tuple2.of(3,12.5));//使用数字位置定义Key按照第一个字段进行分组DataStreamTuple2Integer,DoublekeyedStream=dataStream.keyBy(0).sum(1);KeySelector重写getKey()方法单数据流转换-keyBy//IN为数据流元素，KEY为所选择的Key@FunctionalInterfacepublicinterfaceKeySelectorIN,KEYextendsFunction,Serializable{//选择一个字段作为KeyKEYgetKey(INvalue)throwsException;}publicclassWord{publicStringword;publicintcount;}//使用KeySelectorDataStreamWordkeySelectorStream=wordStream.keyBy(newKeySelectorWord,String(){@OverridepublicStringgetKey(Wordin){returnin.word;}}).sum(count);KeySelector源码一个KeySelector的实现sum()、max()、min()等指定字段，对该字段进行聚合KeySelector流数据上的聚合实时不断输出到下游状态存储中间数据单数据流转换–Aggregations将某个字段加和结果保存到该字段上不关心其他字段的计算结果单数据流转换–sumDataStreamTuple3Integer,Integer,IntegertupleStream=senv.fromElements( Tuple3.of(0,0,0),Tuple3.of(0,1,1), Tuple3.of(0,2,2),Tuple3.of(1,0,6),