二零二三年 优质公开课Chukwa架构.pptx

Chukwa 基本架构 1.了解chukwa的基本架构2.熟悉chukwa的组件 一、Chukwa的架构设计二、Chukwa组件三、内部数据处理时序 Agent: agent 是驻守在各个节点上的负责收集数据的程序Collector: Collector 收集各个 Agent 传来的数据，并将这些数据写入 HDFS1.Chukwa的架构设计 agents :负责采集最原始的数据,并发送给 collectorsadaptor :直接采集数据的接口和工具,一个 agent 可以管理多个 adaptor 的数据采集collectors :负责收集 agents 收送来的数据,并定时写入集群中map/reduce jobs :定时启动,负责把集群中的数据分类、排序、去重和合并HICC :负责数据的展示2.Chukwa组件 Collector ： 将 Agent 发送的数据写入到 logs/*.chukwa 文件；DemuxManager ： 每隔 20 秒中检查一次 *.done 文件PostProcessManager ： 每隔几分钟执行一次，负责将 postProcess 目录下的文件进行合并，去重，排序等操作。3.内部数据处理时序 1. Chukwa的基本架构2. Chukwa的各个组件