Hadoop大数据技术与项目实战 实训指导书——3.2.2 Flume数据采集脚本设计.pdf

山西职业技术学院《Hadoop大数据技术与项目实战》

Flume数据采集脚本设计

一、任务描述

在node1节点上编写Flume数据采集配置文件，设计目的是将产生的数据从本地

传输到Kafka集群。

二、能力目标

能正确编写Flume配置文件

三、任务实施

首先，在/opt/project/offlineDataWarehouse目录下，创建data_collection文件夹，

进入到该文件夹。

[bigdata@node1offlineDataWarehouse]$mkdirdata_collection

[bigdata@node1offlineDataWarehouse]$cddata_collection/

创建并打开Flume数据采集脚本文件file-flume-kafka.conf。

[bigdata@node1data_collection]$vimfile-flume-kafka.conf

在file-flume-kafka.conf文件中添加以下内容后，保存退出。

a1.sources=r1

a1.channels=c1c2

#configuresource

a1.sources.r1.type=TAILDIR

a1.sources.r1.positionFile=/opt/project/offlineDataWarehouse/data_collection/log_positi

on.json

a1.sources.r1.filegroups=f1

a1.sources.r1.filegroups.f1=/opt/project/offlineDataWarehouse/user_behavior_logs/offli

ne/userBehavior.+

a1.sources.r1.fileHeader=true

a1.sources.r1.channels=c1c2

1

山西职业技术学院《Hadoop大数据技术与项目实战》

#interceptor拦截器

a1.sources.r1.interceptors=i1i2

a1.sources.r1.interceptors.i1.type=com.bigdata.LogETLInterceptor$Builder

a1.sources.r1.interceptors.i2.type=com.bigdata.LogTypeInterceptor$Builder

#selector选择器，multiplexing：分流

a1.sources.r1.selector.type=multiplexing

a1.sources.r1.selector.header=topic

a1.sources.r1.selector.mapping.topic_start=c1

a1.sources.r1.selector.mapping.topic_event=c2

#configurechannel

a1.channels.c1.type=org.apache.flume.channel.kafka.KafkaChannel

a1.channels.c1.kafka.bootstrap.servers=node1:9092,node2:9092,node3:9092

a1.channels.c1.kafka.topic=topic_start

a1.channels.c1.parseAsFlumeEvent=false

a1.channels.c1.kafka.consumer.group.id=flume-consumer

a1.channels.c2.type=org.apache.flume.channel.kafka.KafkaChannel

a1.channels.c2.kafka.bootstrap.servers=node1:9092,node2:9092,node3:9092

a1.channels.c2.kafka.topic=top