二零二三年 优质公开课SparkStreaming原理与特点.pptx

SparkStreaming原理与特点 1. 了解SparkStreaming处理数据原理2. 了解SparkStreaming处理数据特点 02SparkStreaming特点01SparkStreaming原理 SparkStreaming原理01 SparkStreaming原理SparkStreaming读取Socket数据为例：1.采用了receiver接收器模式2.需要一个task一直处于接收数据状态3.接收来的数据封装到DStream中，需要task处理4.使用DStream的转换算子和输出算子进行处理 SparkStreaming原理 简单描述Spark Streaming不断的从数据源获取数据(连续的数据流)，并将这些数据按照周期划分为batchSpark ?Streaming将每个batch的数据交给Spark ?Engine来处理(每个batch的处理实际上还是批处理，只不过批量很小，计算速度很快)整个过程是持续的 Spark的各个子框架，都是基于核心Spark的，Spark Streaming在内部的处理机制是，接收实时流的数据，并根据一定的时间间隔拆分成一批批的数据，然后通过Spark Engine处理这些批数据，最终得到处理后的一批批结果数据。对应的批数据，在Spark内核对应一个RDD实例，因此，对应流数据的DStream可以看成是一组RDDs，即RDD的一个序列。通俗点理解的话，在流数据分成一批一批后，通过一个先进先出的队列，然后?Spark Engine从该队列中依次取出一个个批数据，把批数据封装成一个RDD，然后进行处理，这是一个典型的生产者消费者模型，对应的就有生产者消费者模型的问题，即如何协调生产速率和消费速率。详细描述 SparkStreaming特点02 SparkStreaming特点1.SparkStreaming和其他Spark模块无缝整合。2.SparkStreaming是微批处理。3.SparkSteaming容错机制好。 1. SparkStreaming处理数据原理2. SparkStreaming处理数据特点