Flume数据采集工具.docxVIP

Flume数据采集工具 知识目标： 1、了解Flume的基本概念 2、理解Flume的架构 3、掌握Flume的配置 能力目标： 1、能够安装使用Flume 2、能够使用Flume的API接口 相关英语词汇积累 Flume n. 水道；笕槽；引水槽；vt. 用引水槽输送；用引水槽引 Agent 代理 Client 客户端 Source 来源 Sink vi.下沉；渗透；vt. 使下沉；挖掘；使低落；n. 水槽；洗涤槽；污水坑 Channel 通道、渠道 Events 事件 任务1 认识Flume 1、Flume简介 Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 当前Flume有两个版本Flume 0.9X版本的统称Flume-og，Flume1.X版本的统称Flume-ng。由于Flume-ng经过重大重构，与Flume-og有很大不同，使用时请注意区分。 2、Flume的结构 Agent主要由:source,channel,sink三个组件组成. （1）Source: 从数据发生器接收数据,并将接收的数据以Flume的event格式传递给一个或者多个通道channel,Flume提