尚学堂hadoop大数据培训DStream实时流数据处理.pdfVIP

北京尚学堂提供 DStream 如果要用一句话来概括 Spark Streaming 的处理思路的话，那就是 将连续的数据持久化， 离散化，然后进行批量处理 。 让我们来仔细分析一下这么作的原因。 数据持久化 将从网络上接收到的数据先暂时存储下来，为事件处理出错时的事件 重演提供可能， 离散化 数据源源不断的涌进，永远没有一个尽头，就像周星驰的喜剧中所说“崇 拜之情如黄河之水绵绵不绝，一发而不可收拾”。既然不能穷尽，那么就将其按时 间分片。比如采用一分钟为时间间隔，那么在连续的一分钟内收集到的数据集中存 储在一起。 批量处理 将持久化下来的数据分批进行处理，处理机制套用之前的 RDD模式 DStream 可以说是对 RDD 的又一层封装。如果打开 DStream.scala 和 RDD.scala ，可以发 现几乎 RDD 上的所有 operation 在 DStream 中都有相应的定义。 作用于 DStream 上的 operation 分成两类 1. Transformation 2. Output 表示将输出结果，目前支持的有 print, saveAsObjectFiles, saveAsTextFiles, saveAsHadoopFiles DStreamGraph 有输入就要有输出， 如果没有输出， 则前面所做的所有动作全部没有意义， 那么如何将这些 输入和输出绑定起来呢？这个问题的解决就依赖于 DStreamGraph ，DStreamGraph 记录输 入的 Stream 和输出的 Stream 。 private val inputStreams = new ArrayBuffer[InputDStream[_]]() private val outputStreams = new ArrayBuffer[DStream[_]]() var rememberDuration: Duration = null var checkpointInProgress = false outputStreams 中的元素是在有 Output 类型的 Operation 作用于 DStream 上时自动添加到 DStreamGraph 中的。 outputStream 区别于 inputStream 一个重要的地方就是会重载 generateJob. 初始化流程 北京尚学堂 -cctv 央视网广告合作伙伴，专业 IT 培训机构 , 口碑最好的 java 培训、 ,iOS 培训， android 培训，大数据培训 StreamingContext StreamingContext 是 Spark Streaming 初始化的入口点，主要的功能是根据入参来生成 JobScheduler 设定 InputStream 如果流数据源来自于 socket ，则使用 socketStream 。如果数据源来自于不断变化着的文 件，则可使用 fileStream 提交运行 StreamingContext.start() 数据处理 以 socketStream 为例，数据来自于 socket 。 SocketInputDstream 启动一个线程，该线程使用 receive 函数来接收数据 def receive() { var socket: Socket = null try { logInfo( Connecting to + host + : + port) socket = new Socket(host, port) logInfo(