SparkStreaming编程指南专题.pdfVIP

Spark Streaming 编程指南 Overview Spark Streaming 属于 Spark 的核心 api ，它支持高吞吐量、支持容错的实时流数据处理。 它可以接受来自 Kafka, Flume, Twitter, ZeroMQ 和 TCP Socket 的数据源，使用简单的 api 函数比 如 , , , map reduce join window 等操作，还可以直接使用内置的机器学习算法、图 算法包来处理数据。 它的工作流程像下面的图所示一样，接受到实时数据后，给数据分批次，然后传给 Spark Engine 处理最 后生成该批次的结果。 它支持的数据流叫 Dstream ，直接支持 Kafka 、Flume 的数据源。 Dstream 是一种连续的 RDDs ，下面 是一个例子帮助大家理解 Dstream 。 A Quick Example // 创建 StreamingContext，1 秒一个批次 val ssc = new StreamingContext(sparkConf, Seconds(1)); // 获得一个 DStream 负责连接监听端口 :地址 val lines = ssc.socketTextStream(serverIP,serverPort); // 对每一行数据执行 Split 操作 val words = lines.flatMap(_.split( )); // 统计 word 的数量 val pairs = words.map(word = (word, 1)); val wordCounts = pairs.reduceByKey(_ + _); // 输出结果 wordCounts.print(); ssc.start(); // 开始 ssc.awaitTermination(); // 计算完毕退出 具体的代码可以访问这个页面： /apache/incubator-spark/blob/master/examples/src/main/scala/org/apa che/spark/streaming/examples/NetworkWordCount.scala 如果已经装好 Spark 的朋友，我们可以通过下面的例子试试。 首先，启动 Netcat ，这个工具在 Unix-like 的系统都存在，是个简易的数据服务器。 使用下面这句命令来启动 Netcat ： $ nc -lk 9999 接着启动 example $ ./bin/run-example org.apache.spark.streaming.examples.NetworkWordCountlocal [2] localhost 9999 在 Netcat 这端输入 hello world ，看 Spark 这边的 # TERMINAL 1: # Running Netcat $ nc -lk 9999 hello world ... # TERMINAL 2: RUNNING NetworkWordCount or JavaNetworkWordCount $ ./bin/run-example org.apache.spark.streaming.examples.NetworkWordCountlocal [2] localhost 9999 ... Time: 1357008430000 ms (hello,1) (world,1) ... Basics 下面这块是如何编写代码的啦，哇咔咔！ 首先我们要在 SBT 或者 Maven 工程添加以下信息： groupId = org.apache.spark artifactId = spark-streaming_2.10 version = 0.9.0-incubating // 需要使用一下数据源的，还要添加相应的依赖 Source Artifact Kafka spark-streaming-kafka_2.10 F