TDH大数据平台实验_06_Flume使用方法.pdfVIP

平台认证数据工程师培训 课堂实验 一、实验信息 文档编号 文档版本 1.0 实验名称 Flume 使用方法 所属课程 第6 讲 分布式数据采集工具Flume 认证等级 数据工程师 （初级） 授课形式 上机实验 实验批次 第6 次 / 共11 次 二、实验目的  掌握Flume 的安装、配置和运行。  理解Flume Agent 及其组件的基本功能。 三、实验准备  通过Flume 官网下载Flume 1.7.0 安装包。  实验目录规划 （zhangsan 代表学员姓名） （1）本地目录：mnt/disk1/zhangsan ； （2 ）Flume 的本地监听目录：/mnt/disk 1/zhangsan/flumeSpool； （3 ）Flume 的HDFS 存储目录：/tmp/zhangsan/flume_data/ 。 四、实验内容 1、安装Flume  任务：将Flume 安装包复制到集群服务器中，并解压。  步骤 Linux ： // 登录文件服务器，进入Flume 安装包存储目录，将安装包复制到集群服务器中 1. ssh root@172.16.140.111 2. cd /mnt/disk1/de_traning 3. scp apache-flume-1.7.0-bin.tar.gz 172.16.140.85:/mnt/disk1/zhangsan // 登录集群服务器，进入Flume 安装包存储目录，解压Flume 安装包 4. ssh root@172.16.140.85 5. cd /mnt/disk1/zhangsan 1 平台认证数据工程师培训 6. tar -xzvf apache-flume-1.7.0-bin.tar.gz 2、配置Flume  任务：编辑Flume 配置文件（conf/flume.conf ），设置source 类型为spooldir、sink 类型为 hdfs 、channel 类型为memory。  步骤 Linux ： // 进入Flume 安装目录，编辑flume.conf 1. cd /mnt/disk1/zhangsan/apache-flume-1.7.0-bin 2. vim /conf/flume.conf flume.conf ： // 定义Agent 组件名 a1.sources = r1 a1.sinks = k1 a1.channels = c1 // 配置Souce 组件 a1.sources.r1.type = spooldir a1.sources.r1.spoolDir = /mnt/disk 1/zhangsan/flumeSpool a1.sources.r1.fileHeader = true // 配置Sink 组件 a1.sinks.k1.type = hdfs a1.sinks.k1.channel = c1 a1.sinks.k1.hdfs.path = /tmp/zhangsan/flume_data/ a1.sinks.k1.hdfs.round = true a1.sinks.k1.hdfs.roundValue = 10 a1.sinks.k1.hdfs.roundUnit = minute // 配置Channel 组件 a1.channels.c1.type = memory a1.channels.c1.capacity = 5000 a1.channels.c1.transactionCapacity