Spark整合kafka0.10.0新特性(一).docVIP

Spark整合kafka0.10.0新特性(一) Spark Streaming + Kafka Integration Guide (Kafka broker version 0.10.0 or higher)整合kafka0.10.0新特性（API都在实验中）。 The Spark Streaming integration for Kafka 0.10和kafka0.8的Direct Stream approach非常相似，并行度Kafka分区和Spark分区的比例1:1，并且可以访问Kafka的偏移和元数据。然而，新的整合方案使用的是new Kafka consumer API 而不是 simple API，所以在使用过程中需要注意区别，这个版本的整合现在正处于experimental，因此API可能随着时间会有变化。 Linking For Scala/Java applications using SBT/Maven project definitions, link your streaming application with the following artifact (see Linking sectionin the main programming guide for further information). groupId = org.apache.spark artifactId = spark-streaming-kafka-0-10_2.11 version = 2.1.0 无论使用sbt还是maven，都需引入上面的坐标。 Creating a Direct Stream 注意导入包的路径是org.apache.spark.streaming.kafka010，切勿倒错包。 import org.apache.kafka.clients.consumer.ConsumerRecord import mon.serialization.StringDeserializer import org.apache.spark.streaming.kafka010._ import org.apache.spark.streaming.kafka010.LocationStrategies.PreferConsistent import org.apache.spark.streaming.kafka010.ConsumerStrategies.Subscribe val kafkaParams = Map[String, Object]( bootstrap.servers - localhost:9092,anotherhost:9092, key.deserializer - classOf[StringDeserializer], value.deserializer - classOf[StringDeserializer], group.id - use_a_separate_group_id_for_each_stream, auto.offset.reset - latest, mit - (false: java.lang.Boolean) ) val topics = Array(topicA, topicB) val stream = KafkaUtils.createDirectStream[String, String]( streamingContext,//create entry point for all streaming functionality PreferConsistent,//important feature：preferConsistent是一个方法，是consumer调度分区的位置策略 Subscribe[String, String](topics, kafkaParams)//is also import feature ：Subscribe是consumer的消费策略 ) stream.map(record = (record.key, record.value)) 重点解释一下 PreferConsistent方法，首先我们还是看一下PreferConsistent方法实现，源码如下： [java] view plain copy 在CODE上查看代码片派生到我的代码片 package org.apache.spark.streaming.kafka010 import java.{util = ju} import scala.collection.JavaConvert