Flume数据流处理机制与源码.pdfVIP

【组件和原理】

Flume以agent为最小的独立运行单位。一个agent就是一个JVM。单agent由Source、Sink和Channel

三大组件构成

Flume的数据流由(Event)贯穿始终。是Flume的基本数据单位，它携带日志数据(字节数组形式)

并且携带有头信息，这些Event由Agent外部的Source，比如上图中的WebServer生成。当Source捕

获后会进行特定的格式化，然后Source会把推入(单个或多个)Channel中。你可以把Channel看

作是一个缓冲区，它将保存直到Sink处理完该。Sink负责持久化日志或者把推向另一个

Source。

Flume支持用户建立多级流，也就是说，多个agent可以协同工作，并且支持Fan-in、Fan-out、

ContextualRouting、BackupRoutes

对于直接文件Source,主要有两种方式

可通过写Unixcommand的方式组织数据，最常用的就是tail-F[file]。

可以实现实时传输，但在flume不运行和错误时，会丢数据，也不支持断点续能。因为没有记录

上次文件读到的位置，从而没办法知道，下次再读时，从什么地方开始读。特别是在日志文件一直在增加的

时候。flume的source挂了。等flume的source再次开启的这段时间内，增加的日志内容，就没办法被

source到了。不过flume有一个execStream的扩展，可以自己写一个日志增加情况，把增加的

日志，通过自己写的工具把增加的内容，传送给flume的node

SpoolSource:是配置的目录下新增的文件，并将文件中的数据出来，可实现准实时。需要注意

两点：1、拷贝到spool目录下的文件不可以再打开编辑。2、spool目录下不可包含相应的子目录。在实

际使用的过程中，可以结合log4j使用，使用log4j的时候，将log4j的文件分割机制设为1分钟一次，

将文件拷贝到spool的目录。log4j有一个TimeRolling的插件，可以把log4j分割的文件到spool

目录。基本实现了实时的。Flume在传完文件，将会修改文件的后缀，变为.COMPLETED（后缀也可

以在配置文件中灵活指定）

ExecSource，SpoolSource对比：ExecSource可以实现对日志的实时收集，但是存在Flume不运行或者指

令执行出错时，将无法收集到日志数据，无法何证日志数据的完整性。SpoolSource虽然无法实现实时的收集

数据，但是可以使用以分钟的方式分割文件，趋近于实时。如果应用无法实现以分钟切割日志文件的

话，可以两种收集方式结合使用。

【聚合操作】

在各个webserv日志机上配置FlumeClient

#clientMainAgent

clientMainAgent.channels=c1

clientMainAgent.sources=s1

clientMainAgent.sinks=k1k2

#clientMainAgentsinksgroup

clientMainAgent.sinkgroups=g1

#clientMainAgentSpoolingDirectorySource

clientMainAgent.sources.s1.type=spooldir

clientMainAgent.sources.s1.spoolDir=/d/rawdata/

clientMainAgent.sources.s1.fileHeader=true

clientMainAgent.sources.s1.delete=immediate

clientMainAgent.sources.s1.batchSize=1000

clientMainAgent.sources.s1.channels=c1

clientMainAgent.sources.s1.deserializer.maxLineLength=1048576

#clientMainAgentFileChannel

clientMainAgent.channels.c1.