二零二三年 优质公开课DStream中的转换.pptx

Dstream转换 DStream中的转换(transformation)updateStateByKey的操作 /01DStream中的转换(transformation)) 和RDD类似,transformation允许从输入DStream来的数据被修改。DStreams支持很多在RDD中可用的transformation算子。一些常用的算子如下所示:DStream中的转换(transformation) 和RDD类似,transformation允许从输入DStream来的数据被修改。DStreams支持很多在RDD中可用的transformation算子。一些常用的算子如下所示:DStream中的转换(transformation) /02updateStateByKey的操作 updateStateByKey的操作 以DStream中的数据进行按key做reduce操作,然后对各个批次的数据进行累加 在有新的数据信息进入或更新时。能够让用户保持想要的不论什么状。 使用这个功能须要完毕两步: 1) 定义状态:能够是随意数据类型 2) 定义状态更新函数:用一个函数指定怎样使用先前的状态。从输入流中的新值更新状态。 对于有状态操作,要不断的把当前和历史的时间切片的RDD累加计算,随着时间的流失,计算的数据规模会变得越来越

文档评论(0)

1亿VIP精品文档

相关文档