尚学堂hadop大数据培训DStream实时流数据处理.docVIP

北京尚学堂提供 DStream 如果要用一句话来概括Spark Streaming的处理思路的话，那就是将连续的数据持久化，离散化，然后进行批量处理。 让我们来仔细分析一下这么作的原因。 离散化?数据源源不断的涌进，永远没有一个尽头，就像周星驰的喜剧中所说“崇拜之情如黄河之水绵绵不绝，一发而不可收拾”。既然不能穷尽，那么就将其按时间分片。比如采用一分钟为时间间隔，那么在连续的一分钟内收集到的数据集中存储在一起。 批量处理?将持久化下来的数据分批进行处理，处理机制套用之前的RDD模式 DStream可以说是对RDD的又一层封装。如果打开DStream.scala和RDD.scala，可以发现几乎RDD上的所有operation在DStream中都有相应的定义。 作用于DStream上的operation分成两类 1. Transformation 2. Output 表示将输出结果，目前支持的有print, saveAsObjectFiles, saveAsTextFiles, saveAsHadoopFiles DStreamGraph 有输入就要有输出，如果没有输出，则前面所做的所有动作全部没有意义，那么如何将这些输入和输出绑定起来呢？这个问题的解决就依赖于DStreamGraph，DStreamGraph记录输入的Stream和输出的Stream。 ??private?val?inputStreams ?new?ArrayBuffer[InputDStream[_]] ??private?val?outputStreams ?new?ArrayBuffer[DStream[_]] ??var?rememberDuration: Duration ?null??var?checkpointInProgress ?false outputStreams中的元素是在有Output类型的Operation作用于DStream上时自动添加到DStreamGraph中的。 outputStream区别于inputStream一个重要的地方就是会重载generateJob. 初始化流程 StreamingContext是Spark Streaming初始化的入口点，主要的功能是根据入参来生成JobScheduler 如果流数据源来自于socket，则使用socketStream。如果数据源来自于不断变化着的文件，则可使用fileStream StreamingContext.start 数据处理 以socketStream为例，数据来自于socket。 SocketInputDstream启动一个线程，该线程使用receive函数来接收数据 def?receive var?socket: Socket ?null try logInfo Connecting to ?+ host +?:?+ port socket ?newSocket host, port logInfo Connected to ?+ host +?:?+ port val?iterator bytesToObjects socket.getInputStream while !isStopped iterator.hasNext store iterator.next logInfo Stopped receiving restart Retrying connecting to ?+ host +?:?+ port catch case?e: .ConnectException restart Error connecting to ?+ host +?:?+ port, e case?t: Throwable restart Error receiving data, t finally if? socket ! ?null socket.close logInfo Closed socket to ?+ host +?:?+ port 接收到的数据会被先存储起来，存储最终会调用到BlockManager.scala中的函数，那么BlockManager是如何被传递到StreamingContext的呢？利用SparkEnv传入的，注意StreamingContext构造函数的入参。 处理定时器 数据的存储有是被socket触发的。那么已经存储的数据被真正的处理又是被什么触发的呢？ 记得在初始化StreamingContext的时候，我们指定了一个时间参数，那么用这个参数会构造相应的重复定时器，一旦定时器超时，调用generateJobs函数。 private?val?timer ?new?RecurringTimer clock,