Spark Sreaming编程指南.docxVIP

 HYPERLINK /cenyuhai/p/3577204.html Spark Streaming编程指南 Overview Spark Streaming属于Spark的核心api，它支持高吞吐量、支持容错的实时流数据处理。 它可以接受来自Kafka, Flume, Twitter, ZeroMQ和TCP Socket的数据源，使用简单的api函数比如 map, reduce, join, window等操作，还可以直接使用内置的机器学习算法、图算法包来处理数据。 它的工作流程像下面的图所示一样，接受到实时数据后，给数据分批次，然后传给Spark Engine处理最后生成该批次的结果。 它支持的数据流叫Dstream，直接支持Kafka、Flume的数据源。Dstream是一种连续的RDDs，下面是一个例子帮助大家理解Dstream。 A Quick Example // 创建StreamingContext，1秒一个批次val ssc = new StreamingContext(sparkConf, Seconds(1)); // 获得一个DStream负责连接 监听端口:地址 val lines = ssc.socketTextStream(serverIP, serverPort); // 对每一行数据执行Split操作 val words = lines.flatMap(_.split( )); // 统计word的数量 val pairs = words.map(word = (word, 1)); val wordCounts = pairs.reduceByKey(_ + _); // 输出结果 wordCounts.print(); ssc.start(); // 开始 ssc.awaitTermination(); // 计算完毕退出 具体的代码可以访问这个页面： /apache/incubator-spark/blob/master/examples/src/main/scala/org/apache/spark/streaming/examples/NetworkWordCount.scala 如果已经装好Spark的朋友，我们可以通过下面的例子试试。 首先，启动Netcat，这个工具在Unix-like的系统都存在，是个简易的数据服务器。 使用下面这句命令来启动Netcat： $ nc -lk 9999 接着启动example $ ./bin/run-example org.apache.spark.streaming.examples.NetworkWordCount local[2] localhost 9999 在Netcat这端输入hello world，看Spark这边的 # TERMINAL 1: # Running Netcat $ nc -lk 9999 hello world ... # TERMINAL 2: RUNNING NetworkWordCount or JavaNetworkWordCount $ ./bin/run-example org.apache.spark.streaming.examples.NetworkWordCount local[2] localhost 9999 ... ------------------------------------------- Time: 1357008430000 ms ------------------------------------------- (hello,1) (world,1) ... Basics 下面这块是如何编写代码的啦，哇咔咔！ 首先我们要在SBT或者Maven工程添加以下信息： groupId = org.apache.spark artifactId = spark-streaming_2.10 version = 0.9.0-incubating //需要使用一下数据源的，还要添加相应的依赖Source Artifact Kafka spark-streaming-kafka_2.10 Flume spark-streaming-flume_2.10 Twitter spark-streaming-twitter_2.10 ZeroMQ spark-streaming-zeromq_2.10 MQTT spark-streaming-mqtt_2.10 接着就是实例化 new StreamingContext(master, appName, batchDuration, [sparkHome]