Spark Streaming技术平台详解.pdf

技术创新，变革未来 Spark Streaming技术平台详解 内容 Spark Streaming介绍 Spark Streaming和Spark关系 DStream Spark Streaming输入输出 Spark Streaming应用场景 Spark Streaming介绍 近实时流处理计算框架 面向大数据，扩展容易 秒级延迟 提供简单的类似于Spark Core的API 支持多种输入和多种输出 Spark Streaming和Spark关系 DStream DStream: RDD序列 val ssc = new StreamingContext(conf, Seconds(1)) val lines = ssc.socketTextStream(localhost, 9999) ————产生DStream DStream Dstream Transformation : 由1个DStream创建 出1个新的DStream val words = lines.flatMap(_.split( )) DStream Dstream Output ：把数据放入外部存储中 val pairs = words.map(word = (word, 1)) val wordCounts = pairs.reduceByKey(_ + _) .saveAsHadoopFiles(hdfs://...) DStream DStream Window Operation saleAmounts.reduceByKeyAndWindow(_+_, Seconds(30), Seconds(20)) Spark Streaming——输入输出 Spark Streaming应用场景 实时统计 实时告警 实时处理前端系统请求 回顾  Spark Streaming介绍  Spark Streaming和Spark关系  DStream  Spark Streaming输入输出  Spark Streaming应用场景 谢谢！