Flume分布式日志收集系统部署指南.pdfVIP

Flume1.6.0部署文档

目录

版本.1

1flume介绍.1

2安装包及项目.1

3Java环境的.2

4配置及说明.2

5flume启动.4

版本

日期版本号作者备注

2015‑08‑31V1.6.0超

修改内容

增加内容

删除内容

1Flume介绍

Flume是Cloudera公司的一款高性能、高可用的分布式日志收集系统。现在已经是ApacheTop项目。

Flume传输的数据的基本单位是event，如果是文本文件，通常是一行记录，这也是事务的基本单位。flume运行的是agent。它是一个完整

的数据收集工具，含有三个组件，分别是source、channel、sink。Event从Source，流向Channel，再到Sink，本身为一个byte数组，并可

携带headers信息。Event代表着一个数据流的最小完整单元，从外部数据源来，向外部的目的地去。Source:完成对日志数据的收集，分成

transtion和event打入到channel之中。Channel:主要一个队列的功能，对source中的数据进行简单的缓存。Sink:取出Channel中的数

据，进行相应的文件系统，数据库，或者提交到服务器。通过这些组件，event可以从一个地方流向另一个地方，如下图所示。

2安装包及项目

在

后解压到/usr/local下:

#tar–zxvfflume.tar.gz得到

flume目录/usr/local/flume

Flume‑1.6.0目录结构如下

Flume1.6.0部署文档

目录

版本1

1flume介绍1

2安装包及项目1

3java环境的2

4配置及说明2

5flume启动4

版本

日期版本号作者备注

2015-08-31V1.6.0超

修改内容

增加内容

删除内容

1flume介绍

Flume是Cloudera公司的一款高性能、高可能的分布式日志收集系统。现在已经是ApacheTop项目。

Flume传输的数据的基本单位是event，如果是文本文件，通常是一行记录，这也是事务的基本单位。flume运行的是agent。它是一个完整的

数据收集工具，含有三个组件，分别是source、channel、sink。Event从Source，流向Channel，再到Sink，本身为一个byte数组，并可携带

headers信息。Event代表着一个数据流的最小完整单元，从外部数据源来，向外部的目的地去。Source:完成对日志数据的收集，分成transtion和

event打入到channel之中。Channel:主要一个队列的功能，对source中的数据进行简单的缓存。Sink:取出Channel中的数据，进行相应

的文件系统，数据库，或者提交到服务器。通过这些组件，event可以从一个地方流向另一个地方，如下图所示。

2安装包及项目

在

后解压到/usr/local下：

#tar–zxvfflume.tar.gz

得到flume目录/usr/local/flume

Flume-1.6.0目录结构如下

3Java环境的

1)支持Java1.7版本，其他版本没有测试，如果已经安装Java，此步骤可以跳过。

2)如果需要安装Java的64位版本，则可以通过yum来安装。首先通过#yums

earchjava