Flume系统核心概念、模型与应用特性.pdfVIP

2.flume中的概念、模型和特点

2.1.flume中的一些重要概念

2.1.1.flumeEvent：

flume，被定义为一个具有有效荷载的字节数据流和可选的字符串属性集。

2.1.2.flumeAgent：

flume，是一个进程承载从外部源流到下一个目的地的过程。包含source

channel和sink。

2.1.3.Source

数据源，消耗外部传递给他的，外部源将数据按照flumeSource能识别的格式

将Flume发送给flumeSource。

2.1.4.Channel

数据通道，是一个的，用来保持，直到由一个flumeSink消耗。

2.1.5.Sink

数据汇聚点，代表外部数据存放位置。发送flumeevent到指定的外部目标。

2.2.flume流动模型

图-1

2.3.flume的特点

2.3.1.复杂流动性

Flume允许用户进行多级流动到最终目的地，也允许扇出流（一到多）、扇入流(多到

一)的、故障转移和失败处理。

2.3.2.可靠性

事务性的数据传递，保证了数据的可靠性。

2.3.3.可恢复性

通道可以以内存或文件的方式实现，内存更快，但是不可恢复，而文件虽然比较慢但提

供了可恢复性。

3.案例

3.1.编写配置文件

首先需要通过一个配置文件来配置Agent。

＃example.conf：单节点Flume配置

＃命名Agenta1的组件

a1.sources=r1

a1.sinks=k1

a1.channels=c1

＃描述/配置Source

a1.sources.r1.type=netcat

a1.sources.r1.bind=

a1.sources.r1.port=44444

＃描述Sink

a1.sinks.k1.type=logger

＃描述内存Channel

a1.channels.c1.type=memory

a1.channels.c1.capacity=1000

a1.channels.c1.transactionCapacity=100

＃为Channle绑定Source和Sink

a1.sources.r1.channels=c1

a1.sinks.k1.channel=c1

注意：

（1）一个配置文件中可以配置多个Agent，一个Agent中可以包含多个

Source、Sink、Channel。

（2）一个Source可以绑定到多个通道，但一个Sink只能绑定到一个通道。

3.2.通过flume的工具启动agent

$bin/flume-ngagent--confconf--conf-fileexample.conf--namea1

-Dflume.root.logger=INFO,console

3.3.发送数据

在windows中通过telnet命令连接flume所在机器的44444端口发送数据。

发现，flume确实收集到了该信息。

4.Source详解

4.1.AvroSource

4.1.1.AvroSource概述

AVRO端口来接受来自外部AVRO客户端的流。

利用AvroSource可以实现多级流动、扇出流、扇入流等效果。

另外也可以接受通过flume的Avro客户端发送的日志信息。