尚硅谷大数据技术之Flume（V5.0）.docxVIP

尚硅谷大数据技术之Flume ————————————————————————————— 尚硅谷大数据技术之Flume （作者：尚硅谷研究院） 版本：V5.0 第1章 Flume概述 1.1 Flume定义 Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。 1.2 Flume基础架构 Flume组成架构如下图所示。 1.2.1 Agent Agent是一个JVM进程，它以事件的形式将数据从源头送至目的地。 Agent主要有3个部分组成，Source、Channel、Sink。 1.2.2 Source Source是负责接收数据到Flume Agent的组件。Source组件可以处理各种类型、各种格式的日志数据 1.2.3 Sink Sink不断地轮询Channel中的事件且批量地移除它们，并将这些事件批量写入到存储或索引系统、或者被发送到另一个Flume Agent。 1.2.4 Channel Channel是位于Source和Sink之间的缓冲区。因此，Channel允许Source和Sink运作在不同的速率上。Channel是线程安全的，可以同时处理几个Source的写入操作和几个Sink的读取操作。 Flume自