《数据采集》课件——CSSHACK.pptxVIP

CSSCHCK

1.了解chukwa的基本架构

2.熟悉chukwa的组件

一、Chukwa的架构设计

二、Chukwa组件

三、内部数据处理时序

1.Chukwa的架构设计Agent:agent是驻守在各个节点上的负责收集数据的程序Collector:Collector收集各个Agent传来的数据，并将这些数据写入HDFS

agents:负责采集最原始的数据,并发送给collectorsadaptor:直接采集数据的接口和工具,一个agent可以管理多个adaptor的数据采集collectors:负责收集agents收送来的数据,并定时写入集群中map/reducejobs:定时启动,负责把集群中的数据分类、排序、去重和合并HICC:负责数据的展示2.Chukwa组件

Collector：将Agent发送的数据写入到logs/*.chukwa文件；DemuxManager：每隔20秒中检查一次*.done文件PostProcessManager：每隔几分钟执行一次，负责将postProcess目录下的文件进行合并，去重，排序等操作。3.内部数据处理时序

不是单机系统，是一个构建在hadoop基础上的分布式日志处理系统。chukwa不是一个实时错误监控系统，chukwa分析的是数据