一种基于BKmeans聚类算法的监控预警系统的研究与设计.pdfVIP

一种基于BKmeans聚类算法的监控 预警系统的研究与设计 许雷韩洪斌李雪 (中国移动辽宁公司业务支撑中心110179中国移动辽宁公司大连分公司市场经营部业 务支撑中心116021) 摘要伴随4G时代的悄然到来，竞争的重点已经提高了一个层次，即从价格战逐 步转向提升服务品质的角逐。提高系统稳定性，降低系统故障频率，提升客户满意度已 成为移动公司发展战略的重中之重。本文研究并设计的一种基于BKmeans算法的监控预 警系统，在对海量支撑故障数据进行预判分类的基础上，从基础架构层、应用程序层与 业务层对可能发生的重点异常进行告警，确保运维人员第一时间得知并进行优化处理。 从而最大程度上保证系统7*24小时稳定高效。 关键词BKmeans聚类算法；系统监控 研究背景与现状 1．1研究背景 随着4G时代的悄然到来，竞争的重点已经提高了一个层次，即从价格战逐步转向提 升服务品质的角逐。提升服务品质，不仅要求运营商内部从管理上进行深人挖潜，也对 设备商能否提供有价值的服务和产品提出了更高的要求。服务易于安装、易于维护，成 为运营商选择设备商的重要指标。产品易于安装、易于使用、易于维护，是可服务性的 通俗表述。提升产品可服务性，能够帮助运营商提升维护效率、降低TCO，为运营商创 造巨大的隐形价值。 1．2现状分析 1．2．1 系统监控情况概述 为确保业务支撑体系的高效稳定运行，运维工作从多角度，多层面对系统各个部分 添加了监控点。如图1所示，从监控对象上来看，该体系主要由4层构成，自下而上分别 是网络传输层，主机资源层，数据库层与应用程序层。 其中网络传输层主要负责监控网络设备的接口及硬件的连通性、 性能指标等要素；主机资源层针对支撑系统的全部主机，对其CPU、 内存、文件系统等的利用率情况实时获取占比数据；数据库层的监控 包含各类表的锁表、表空间利用率及索引性能等问题予以及时发现并 解决；应用程序层包含了支撑系统中各种各样的功能模块、服务等程 序，本层的监控主要围绕此类应用程序的运行状态进行，包括parition 状态、销账工单是否积压，CAPSE指标上传是否及时正常等等。 图1监控范围 1．2．2告警级别划分 按照告警数据所属资源的类别，将告警数据划分为如下类别：网络传输告警、应用 告警、数据库告警、主机资源告警、其他类告警等。针对每种类别的告警，根据告警信 息的严重程度、影响范围以及与企业相应考核指标的关系确定告警级别，具体参考以下 三级：严重告警(Critical)、主要告警(Major)、一般告警(Minor)。 小时处理的告警。 主要告警(Major)：指告警信息的严重程度较高、对系统业务有一定影响，需要5x8 小时处理的告警。 一般告警(Minor)：指告警信息的严重程度低、对系统业务影响小的告警，不需要处 理，关注即可。 结构化运维监控平台(AMP)在上述基础之上进行优化，细化监控粒度，扩大监控 范围，提升支撑系统运维监控能力。 2 BKmeans算法设计 支撑系统数据量数以亿计，系统故障的类别更是千差万别，对每次故障发生时各属 性进行记录存储并结合当前系统数据进行比对分析从而预判系统再次发生此类故障的概 率是运行维护工作的一项重要技术手段。那么对系统的故障数据属性进行分类，对实时 的系统数据进行分类，是作出精确对比分析的基础。因此，本文提出一种基于BKmeans 的聚类算法，将各类数据进行有效划分，并结合系统现有比对程序进行分析，从而为上 层预警模块提供数据输出。 本文提出的算法是在已有的不确定聚类算法基础上进行改进，将近似骨架知识应用 到聚类过程中，优化了聚类效果。算法的提出，将两个不同领域知识进行了有效的结 合，为不确定数据聚类研究工作拓展了思路，同时也为骨架研究找到了新的应用领域。 骨架是指一个NP一难解问题实例的所有全局最优解的相同部分。骨架对于启发式算 法的意义在于：(1)基于骨架的启发式算法灵活简单：骨架提供了一种新框架，它可以 方便地与已有启发式算法相结合，给出新的启发式算法；(2)基于骨架的启发式算法性 能提升明显：利用骨架可以对实例的搜索空间进行大幅收缩，从而显著提高搜索的性能。 2．1聚类数据建模 聚类分析是一种无监督学习，它把有限的无标签的数据集