BOMC系统大数据的应用浅析.docVIP

BOMC系统大数据的应用浅析 　　【摘要】 BOMC全称为中国移动业务支撑网运营管理系统，主要为业务支撑系统（BOSS，CRM等）提供运维管理和维护支撑。随着云计算，大数据等技术的不断成熟，以及中国移动业务支撑系统架构的变化，BOMC需充分利用新技术，新手段，更好的发挥运维管理作用，让更多的运维数据充分发挥作用，实现更快的故障处理速度，提升客户感知能力，提高客户满意度。 　　【关键词】 BOMC 大数据 客户感知 　　一、中国移动BOMC系统简介 　　BOMC是中国移动业务支撑网运营管理系统，定位于为中国移动业务支撑网各系统的管理和运维提供支撑，通过“集中监控、集中维护、集中管理”的方式，实现对业务支撑系统生产运行中的平台设备和应用软件等资源进行统一管理，并在此基础上实现全网运维情况、业务运行质量的分析评估。随着云计算、大数据等技术的日益成熟，业务支撑网各系统的架构发生变化，BOMC也需要进一步的调整和优化，以适应对新架构下被管系统的管理和服务的要求。通过引入大数据，运营管理系统可进一步丰富运维工作的手段，提升运维工作的质量。 　　二、BOMC大数据架构平台基本架构 　　在BOMC系统运维的过程中，存在问题如下：告警的设定仅为实时的提醒，缺少预警的功能，缺少根据某类指标设定动态的阀值的功能；对BOSS等业务过程的监控粒度较粗，业务故障定位存在延时等等。大数据的引用，将全量业务和告警数据纳入分析成为可能，在时效性上有了明显的提升，且通过多种手段，实现对业务问题和平台告警的预测。 　　随着大数据技术迅速发展，其技术框架也日益成熟，BOMC大数据平台亦采用目前成熟的技术框架，概括分为数据采集、数据采集、数据展现三层。数据源主要来自BOSS、CRM、BOMC等系统的业务日志，数据库、中间件日志，告警等运维数据。通过数据采集工具，对半结构化，非结构化数据进行采集，并对各类数据根据需要进行离线或实时处理，通过应用层实现数据的专题分析和应用展现。 　　三、BOMC大数据应用场景 　　BOMC前期建设，已经实现对全网业务，运维，探测数据的采集和存储。BOMC系统引入大数据技术，主要目的是挖掘日益剧增的数据价值，并构建适合实际运维的应用场景，解决以往传统运维工作难以解决的问题。通过在预警，故障处理等方面的应用，及时发现系统及业务故障点，在影响客户使用前处理并解决问题有效提高系统运维效率。 　　以下分别通过大数据应用场景的目标、场景分析方法、场景应用的算法章节，分别介绍BOMC大数据应用场景需要解决的问题，如何解决以及解决时引用的算法思路。 　　3.1主机内存故障预警 　　3.1.1场景目标 　　日常运维中，部分主机故障前会伴随着内存使用率的快速上升，针对主机内存使用率的告警预测，可提前预知主机内存的异动，发现主机运行的异常情况，提前检查并解决问题，避免故障的发生。 　　传统的文件系统告警需要等相应性能达到阀值后产生告警，这个时候往往留给维护人员处理的时间已经不多。针对这两种情况，我们对其做告警预测，在性能值发生异动时即提醒维护人员重点关注，避免告警的产生和问题的进一步恶化。 　　3.1.2场景分析方法 　　通过对历史性能分析，生成v=f（t）性能趋势分析函数，根据趋势分析函数，计算被监控点未来的性能趋势，并结合允许的波动范围生成安全性能区域，将实际监控性能值与预测值相比较，实现告警的准确判定。 　　3.1.3算法应用 　　Kmeans算法简介 　　K-means算法简称为K值聚类算法，是一种cluster analysis的算法，也是最为经典的基于划分的聚类方法。K-means算法的基本思路是：首先设定空间中的k个点，并以此做为中心进行聚类，对最靠近他们的对象划分归类。然后逐步迭代，逐次更新各聚类区域的中心值，直至得到最好的聚类结果。 　　K-means算法接受参数k；然后将待聚类数据对象n输入并划分为k个聚类，使得计算所获得的聚类需满足如下条件： 　　（1）聚类相似度满足，即同一个聚类中的数据对象相似度较高；而不同聚类中的数据对象相似度较较低。 　　（2）聚类相似度是数据对象的特征属性的相似情况度量，可将数据特征属性标量化，利用距离计算相似度。 　　假设需将样本集n分为k个类别，算法描述如下： 　　（1）从n中随机选择k个元素，作为k个簇的初始中心； 　　（2）对任意一个样本数据，求其到k个簇的各中心的距离，并将该样本数据归类到距离最短的中心所在的簇（持续i次迭代）； 　　（3）计算并更新该簇的中心值，可通过距离欧式距离或均值等方法； 　　（4）如果通过（2）（3）的迭代法更新后，所有的k个聚类中心值保持不变，则迭代结束，否则继续迭代。 　　收敛快速和简洁是K-means算法的最大优势