大数据 Spark编程基础（Scala版）-第7章-Spark Streaming.pptVIP

7.7 输出操作 在Spark应用中，外部系统经常需要使用到Spark DStream处理后的数据，因此，需要采用输出操作把DStream的数据输出到数据库或者文件系统中 7.7.1 把DStream输出到文本文件中 7.7.2 把DStream写入到MySQL数据库中 7.7.1 把DStream输出到文本文件中 package org.apache.spark.examples.streaming import org.apache.spark._ import org.apache.spark.streaming._ import org.apache.spark.storage.StorageLevel object NetworkWordCountStateful { def main(args: Array[String]) { //定义状态更新函数 val updateFunc = (values: Seq[Int], state: Option[Int]) => { val currentCount = values.foldLeft(0)(_ + _) val previousCount = state.getOrElse(0) Some(currentCount + previousCount) } StreamingExamples.setStreamingLogLevels() //设置log4j日志级别 请在NetworkWordCountStateful.scala代码文件中输入以下内容： 剩余代码见下一页 7.7.1 把DStream输出到文本文件中 val conf = new SparkConf().setMaster("local[2]").setAppName("NetworkWordCountStateful") val sc = new StreamingContext(conf, Seconds(5)) sc.checkpoint("file:///usr/local/spark/mycode/streaming/dstreamoutput/") //设置检查点，检查点具有容错机制 val lines = sc.socketTextStream("localhost", 9999) val words = lines.flatMap(_.split(" ")) val wordDstream = words.map(x => (x, 1)) val stateDstream = wordDstream.updateStateByKey[Int](updateFunc) stateDstream.print() //下面是新增的语句，把DStream保存到文本文件中 stateDstream.saveAsTextFiles("file:///usr/local/spark/mycode/streaming/dstreamoutput/output.txt") sc.start() sc.awaitTermination() } } 7.7.1 把DStream输出到文本文件中 sbt打包编译后，使用如下命令运行程序： $ /usr/local/spark/bin/spark-submit --class "org.apache.spark.examples.streaming.NetworkWordCountStateful" /usr/local/spark/mycode/streaming/dstreamoutput/target/scala-2.11/simple-project_2.11-1.0.jar 程序运行以后，屏幕上就会显示类似下面的程序运行信息： ------------------------------------------- Time: 1479890485000 ms ------------------------------------------- ------------------------------------------- Time: 1479890490000 ms ------------------------------------------- 7.7.1 把DStream输出到文本文件中 打开另外一个终端，作为单词产生的源头，提供给NetworkWordCountStateful程序进行词频统计： $ nc -lk 9999