多维度数据分析在集群日志监控中的应用.pptVIP

多维度数据分析在集群监控中的应用 高能物理研究所 胡庆宝 2017.7.6 目录 背景需求 技术介绍 系统架构 数据处理 系统应用 背景需求 目前计算集群监控手段种类繁多、展示多样，但监控数据相对独立，监控工具往往只从各自层面显示监控信息。随着集群规模增长和集群服务多样化，亟需对集群各种监控数据进行整合，将多种监控数据关联，统一展现集群运行状态。 背景需求 Ganglia：CPU load/Memory usage/SWAP/Network/IO… Nagios：AFS/CVMFS/Lustre/Gluster ssh/http … Heplog：syslog accesslog servicelog Self-plugin：collect-plugin + DB + dashboard 背景需求 静态属性 机器设备 集群服务 作业用户 Ganglia 性能负载 Nagios 服务状态 HEPLog 系统服务日志 Condor Job运行信息 关联 对不同类型的监控数据进行解析，增加丰富的属性标签，在同一时间区间，通过对标签或其他约束条件的查询，实现监控数据的关联展现 技术介绍 属性数据库 节点属性库：实验组、服务器(AFS/Lustre/CONDOR…)、登录节点、计算节点等 服务属性库：kernel、sshd、afs… 作业属性：用