Spark Stream与Kafka整合方法及教学设计.pdfVIP

【概述】

ApacheKafka是一个分布式的消息发布-订阅系统。可以说，任何实时大数据处理工具缺少与

Kafka整合都是的。本文将介绍如何使用SparkStreaming从Kafka中接收数据，这里将会介绍

两种方法：（1）、使用Receivers和Kafka次的API；（2）、使用DirectAPI，这是使用低层

次的KafkaAPI，并没有使用到Receivers，是Spark1.3.0中开始引入的。这两种方法有不同的编程

模型，性能特点和语义担保

【基于Receivers的方法】

这个方法使用了Receivers来接收数据。Receivers的实现使用到Kafka次的消费者API。

对于所有的Receivers，接收到的数据将会保存在Sparkexecutors中，然后由SparkStreaming

启动的Job来处理这些数据。

然而，在默认的配置下，这种方法在失败的情况下会丢失数据，为了保证零数据丢失，你可

以在SparkStreaming中使用WAL日志，这是在Spark1.2.0才引入的功能，这使得我们可以将接收

到的数据保存到WAL中（WAL日志可以在HDFS上），所以在失败的时候，我们可以从WAL中恢

复，而不至于丢失数据。

下面，我将介绍如何使用这种方法来接收数据。

1、引入依赖。

对于Scala和Java项目，你可以在你的pom.xml文件引入以下依赖：

dependency

groupIdorg.apache.spark/groupId

artifactIdspark-streaming-kafka_2.10/artifactId

version1.3.0/version

【概述】

ApacheKafka是一个多元化的消息发布‑订阅系统。可以说，任何实时大数据处理工具缺少与

Kafka集是的。本文将介绍如何使用SparkStreaming从Kafka中接收数据，这里将

介绍两种方法：(1)、使用Receivers和Kafka次的API;(2)、使用DirectAPI，这是使用低层

次的KafkaAPI，并且没有使用到Receivers，是Spark1.3.0这两种方法有不同的编程模型、性能

特征和语义模型

【基于接收者的方法】

这个方法使用了Receivers来接收数据。Receivers的实现使用到Kafka次的Consumer

API。对于所有的Receivers，接收到的数据将保存在Spark执行器中，由SparkStreaming启动然后

Job来处理这些数据。

不过，在默认的配置下，这种方法在失败的情况下会丢失数据，为了保证零数据丢失，你可以在

SparkStreaming中使用WAL日志，这是在Spark1.2.0才引入的功能，这使得我们可以将接收到的数

据保存到WAL中（WAL日志可以在HDFS上），所以在失败的时候，我们可以从WAL中恢复，

而不至于丢失数据。

下面，我将介绍如何使用这种方法来接收数据。

1、引入依赖。

对于Scala和Java项目，您可以在您的pom.xml文件中引入以下依赖：

依赖项

groupIdorg.apache.spark/groupId

artifactIdspark‑streaming‑kafka_2.10/artifactId

版本1.3.0/版本

/dependency

如果你是使用SBT，可以这么引入：

libraryDependencies+=org.apache.spark%spark-streaming-kafka_2.10%1.3.0

编程

在Streamin