Flume代理开发流程及组件配置方法.pdfVIP

Flume开发过程

开发一个agent

#指定agent里面的三个组件source、sink、channel名称

Agent.sources=Source（怎么，的格式，一个agent可以有多个source）

Agent.sinks=Sink（怎么）

Agent.channels=Channel1Channel2

#用channel将其对应的source和sink关联起来

Agent.sources.Source.channels=Channel1

Agent.sinks.Sink.channel=Channel1

#各自配置三种组建的具体细节properties（属性）

#propertiesforsources

Agent.sources.Source.someProperty=someValue

#propertiesforchannels

Agent.channel.Channel.someProperty=someValue

#propertiesforsinks

Agent.sinks.Sink.someProperty=someValue

一个agent可以包含多个source多个sink多个channel

Agent.sources=Source1Source2

Agent.sinks=Sink1Sink2

Agent.channels=Channel1Channel2

Agent.sources.Source1.properties1=pvalue1

Flume开发流程

开发一个

#指定agent里面的三个组件source、sink、channel名称Agent.sources=

Source(怎么,的格式,一个agent可以有多个source)Agent.sinks=

Sink(怎么)

.channels=12

#使用channel将其对应的source和sink关联起来

.sources..channels=1

.sinks..channel=通道1

#各自配置不同构建的具体细节属性（属性）

#源的属性

.sources。.someProperty=

someValue#propertiesforchannels.channel.

频道.someProperty=someValue#属性代

理.sinks..someProperty=someValue

一个agent可以包含多个source、多个sink、多个channel

.sources=12

.sinks=12代

理.channels=通道1通道2

.sources。1.属性1=pvalue1

Agent.sources.Source2.properties1=pvalue2

开发一个agent流

一个Weblogagent

#listsources,sinksandchannelsintheagent

agent_foo.sources=avro-AppSrv-source

agent_foo.sinks=avro-forward-sink

agent_foo.channels=file-channel

#definetheflow

agent_foo.sources.avro-AppSrv-source.channels=file-channel

agent_foo.sinks.avro-forward-sink.channel=file-channel

#avrosinkproperties

agent_foo.sinks.avro-forward-sink.type=avro

agent