大数据技术基础及应用第3章 Flume轻量日志采集工具.pptxVIP

第3章Flume轻量日志采集工具

本章主要讲述Flume的基本技术原理

通过学习本节将能够学习Flume轻量日志采集组件的架构原理。通过本节学习可以：Flume定义和概述Flume组件原理Flume高级特性

Flume定义和概述Flume组件原理Flume高级特性

Flume是什么？Flume是流式日志采集工具，Flume提供对数据进行简单处理并且写到各种数据接受方（可定制）的能力，Flume提供从本地文件（spooldirectorysource)、实时日志（taildir、exec)、REST消息、Thrift、Avro、Syslog、Kafka等数据源上收集数据的能力。

Flume适用环境Flume适用于应用系统产生的日志采集，采集后的数据供上层应用分析。Flume不适用于大量数据的实时数据采集（要求低延迟、高吞吐率）。与其他开源日志收集工具scribe比较而言，Flume几乎不用用户开发，scribe需要用户另外开发client,而Flume每一种数据源均有相应的source去读取或者接收数据。

Flume适用环境适用环境：提供从固定目录下采集日志信息到目的地（HDFS,HBase,Kafka)能力。提供实时采集日志信息(taildir)到目的地的能力。Flume支持级联（多个Flume对接起来），合并数据的能力。同时支持按照用户定制采集数据的能力。

Flume定义和