二零二三年 优质公开课SparkStreaming介绍.pptx

SparkStreaming 介绍 1.了解SparkStreaming SparkStreaming介绍01 SparkStreaming-11.SparkStreaming是SparkCore Api的扩展2.SparkStreaming 有高阶算子处理数据 SparkStreaming-21.SparkStreaming底层操作的是DStream2.SparkStreaming可以使用Java 、Scala、 Python语言编写 SparkStreaming-3SparkStreaming是对于Spark核心API的拓展，从而支持对于实时数据流的可拓展，高吞吐量和容错性流处理。数据可以由多个源取得，例如：Kafka，Flume，Twitter，ZeroMQ，Kinesis或者TCP接口，同时可以使用由如map，reduce，join和window这样的高层接口描述的复杂算法进行处理。最终，处理过的数据可以被推送到文件系统，数据库和HDFS。 SparkStreaming-4Spark Streaming提供了被称为离散化流或者DStream的高层抽象，这个高层抽象用于表示数据的连续流。创建DStream的两种方式：1. 由Kafka，Flume取得的数据作为输入数据流。2. 在其他DStream进行的高层操作。 特别注意在内部，DStream被表达为RDDs的一个序列。 1. SparkStreaming介绍