日志收集方案.pptVIP

Log收集分析平台

需求Log收集分布式applicationlog即时log数量多，平均每条log不会太大〔以后可能有流式日志〕Log分析log合并〔多条相同log去重〕log析取〔分析重要log信息〕Log近实时查询

方案ScribeChukwaFlume自选

Scribefacebook开源的日志收集系统大量应用在facebook里从各种日志源收集日志，存储到中央存储系统可扩展，高容错的方案C＋＋编写基于thrift

Scribe架构

Scribe优点：容错〔只是collector和store之间〕支持hdfs设计简单，易于使用扩展性好基于thrift，集成性好缺点：agent和collector之间没有容错无负载基于thrift，依赖复杂，环境侵入性强资料少

Chukwahadoop系统产品非常灵活，动态控制数据源高性能，高可扩展性分布式数据收集，快速处理java编写

Chukwa架构

Chukwa优点：agent定期记录已发送数据来提供容错和hadoop集成好，自带很多基于hadoop的组件扩展性好缺点：无负载版本太新据我所知，无商业应用采用

FlumeOGcloudera的开源日志系统内置丰富组件，根本不用开发高可靠性，高可扩展性，可管理性java编写

FlumeOG架构

FlumeOG优点：高可靠，agent，collector，store之间具有容错机制，提供3种策略通过zookeeper提供负载agent，collector非常丰富支持hdfs有商业应用使用缺点：商业支持不对开源社区开放

FlumeNGApache旗下开源日志系统内置丰富组件，根本不用开发高可靠性，高可扩展性，可管理性java编写

FlumeNG架构

FlumeNG与OG不同：高可靠，end-to-end模式摒弃了Master，zookeeper，controller等纯agent〔source+channel+sink〕模式

FlumeNG#example.conf:Asingle-nodeFlumeconfiguration#Namethecomponentsonthisagenta1.sources=r1a1.sinks=k1a1.channels=c1#Describe/configurethesource=netcat=localhost=44444#Describethesink=logger#Useachannelwhichbufferseventsinmemory=memory=1000=100#Bindthesourceandsinktothechannel=c1=c1

FlumeNGbin/flume-ngagent--confconf--conf-fileexample.conf--namea1-Dflume.root.logger=INFO,console$telnetlocalhost44444Trying...Connectedtolocalhost.localdomain().Escapecharacteris^].Helloworld!ENTEROK12/06/1915:32:19INFOsource.NetcatSource:Sourcestarting12/06/1915:32:19INFOsource.NetcatSource:CreatedserverSocket:sun.nio.ch.ServerSocketChannelImpl[/:44444]12/06/1915:32:34INFOsink.LoggerSink:Event:{headers:{}body:48656C6C6F20776F726C64210DHelloworld!.}

自选方案AgentCollectorDBHadoopNoSqlApplication1AgentAgentCollectorApplication3Application2Ftp

RsyncMergerAnalizerMergerAnalizerProcessorConsoleLocalcacheLocalcacheCongurationSearchComposer近结构化数据

自选方案优点：结构简单可控性强可根据需求定制化缺点：开发本钱高性能，可靠性，可扩展性等需要长期积累

方案比较可靠性Flume容错性最好，Chukwa次之可扩展性都很好。对于协议扩展性，scribe最好开发本钱Flume和Chukwa