Hadoop大数据技术与项目实战 实训指导书——3.2.3 拦截器创建流程.pdf

山西职业技术学院《Hadoop大数据技术与项目实战》

拦截器创建流程

一、任务描述

编写Flume自定义拦截器，创建ETL拦截器LogETLInterceptor类、分流标记拦截

器LogTypeInterceptor类和LogUtils工具类。

ETL拦截器的功能是建立一个List集合，对每一个事件通过调用LogUtils工具类进

行判断，筛选出启动日志和事件日志，添加到集合中。

分流标记拦截器的功能是建立一个List集合，对ETL拦截器过滤出的启动日志添加

{“topic”,“topic_start”}的头部信息，对事件日志添加{“topic”,“topic_event”}的头部信息，再

将结果添加到集合中。

LogUtils工具类的功能是判断获取到的日志是启动日志还是事件日志。

二、能力目标

1.理解Flume拦截器的作用

2.会编写Flume拦截器程序

三、任务准备

1.IDEA开发软件

2.Xshell、Xftp软件

四、任务实施

1.创建项目

双击启动IDEA软件，启动成功后单击NewProject,创建新项目。

1

山西职业技术学院《Hadoop大数据技术与项目实战》

在弹出的新项目框中，选择Maven项目，单击Next按钮，

在弹出的新项目框中，设置项目名称Name为OfflineDataWarehouse_FlumeInterce

ptor；设置项目存储位置Location为D:\Project\OfflineDataWarehouse_FlumeIntercept

2

山西职业技术学院《Hadoop大数据技术与项目实战》

or；单击ArtifactCoordinates下拉菜单，设置项目组织标识符GroupId为com.bigdata,

设置项目标识符ArtifactId为OfflineDataWarehouse_FlumeInterceptor，单击Finish按

钮，完成项目的创建，等待IDEA启动生成项目。

项目生成后，首先需要在pom.xml文件中引入Flume相关依赖，完整内容如下：

?xmlversion=1.0encoding=UTF-8?

projectxmlns=/POM/4.0.0

xmlns:xsi=/2001/XMLSchema-instance

xsi:schemaLocation=/POM/4.0.0http://maven.apac

/xsd/maven-4.0.0.xsd

modelVersion4.0.0/modelVersion

groupIdcom.bigdata/groupId

artifactIdOfflineDataWarehouse_FlumeInterceptor/artifactId

version1.0/version

3

山西职业技术学院《Hadoop大数据技术与项目实战》

properties

project.build.sourceEncodingUTF-8/project.build.sourceEncoding

project.reporting.outputEncodingUTF-8/project.reporting.outputEncodin

g

java.version1.8/java.version

/properties

dependencies

dependency

groupIdorg.apache.flume/gr