云应用开发类企业案例SparkStreaming整合FlumeSparkStreaming整合Flume.docxVIP

PAGE4 / NUMPAGES4 Spark Streaming整合Flume 一、简介 Apache Flume 是一个分布式，高可用的数据收集系统，可以从不同的数据源收集数据，经过聚合后发送到分布式计算框架或者存储系统中。Spark Straming 提供了以下两种方式用于 Flume 的整合。 二、推送式方法 在推送式方法 (Flume-style Push-based Approach) 中，Spark Streaming 程序需要对某台服务器的某个端口进行监听，Flume 通过?avro Sink?将数据源源不断推送到该端口。这里以监听日志文件为例，具体整合方式如下： 2.1 配置日志收集Flume 新建配置?perties，使用?tail?命令监听文件内容变化，然后将新的文件内容通过?avro sink?发送到 hadoop001 这台服务器的 8888 端口： #指定agent的sources,sinks,channels a1.sources = s1 a1.sinks = k1 a1.channels = c1 #配置sources属性 a1.sources.s1.type = exec mand = tail -F /tmp/log.txt a1.sources.s1.shell = /bin/bash -c a1.sources.s1.channels = c1 #配置sink a1.sinks.k1.type = avro a1.sinks.k1.hostname = hadoop001 a1.sinks.k1.port = 8888 a1.sinks.k1.batch-size = 1 a1.sinks.k1.channel = c1 #配置channel类型 a1.channels.c1.type = memory a1.channels.c1.capacity = 1000 a1.channels.c1.transactionCapacity = 100 2.2 项目依赖 项目采用 Maven 工程进行构建，主要依赖为?spark-streaming?和?spark-streaming-flume。 properties scala.version2.11/scala.version spark.version2.4.0/spark.version /properties dependencies !-- Spark Streaming-- dependency groupIdorg.apache.spark/groupId artifactIdspark-streaming_${scala.version}/artifactId version${spark.version}/version /dependency !-- Spark Streaming 整合 Flume 依赖-- dependency groupIdorg.apache.spark/groupId artifactIdspark-streaming-flume_${scala.version}/artifactId version2.4.3/version /dependency /dependencies 2.3 Spark Streaming接收日志数据 调用 FlumeUtils 工具类的?createStream?方法，对 hadoop001 的 8888 端口进行监听，获取到流数据并进行打印： import org.apache.spark.SparkConf import org.apache.spark.streaming.{Seconds, StreamingContext} import org.apache.spark.streaming.flume.FlumeUtils object PushBasedWordCount { def main(args: Array[String]): Unit = { val sparkConf = new SparkConf() val ssc = new StreamingContext(sparkConf, Seconds(5)) // 1.获取输入流 val flumeStream = FlumeUtils.createStream(ssc, hadoop001, 8888) // 2.打印输入流的数据 flumeStream.map(l