数据挖掘在通信企业管理系统中的应用.docVIP

数据挖掘在通信企业管理系统中的应用 【摘要】通信企业客户数量多、数据存储量大、响应及时性要求高， 其数据仓库对基于大数据的挖掘需求强烈。基于上述需求，提出数据挖掘 在应用的方法，用以提高其运营效率。 【关键词】数据挖掘人数据通信企业应用 通信企业具有客户数量多、数据规模大、数据及时性需求高等特点。 应用数据挖掘技术对通信企业收集到的数据进行建模可以帮助企业对现 有的运维、计费、市场屮的运营进行深度研究，得到系统存在的问题、用 户支付情况等信息，为企业改善自身系统提供新的支撑。具体来讲，通信 企业可以通过数据挖掘技术实现系统故障管理、系统计费管理和用户管 理。 一、数据挖掘在故障管理系统中的应用 1.1网络故障管理系统概述 故障管理是通信企业网络管理的重要组成部分，故障管理是否有效直 接关系到整个网络的可靠性，其目的是迅速发现和纠正整个网络的告警故 障，维护网络的可用性。通常需要对故障时间点附近所有告警进行分析冰 能够发现故障的根本原因，数据呈现告警数据库巨大、数据具有关联性和 告警数裾的关联性只能反映系统当前状态等特点。故障管理系统的特点决 定了使用关联模型不仅可发现告警数据的关联性还能够高效地更新和维 护已经出现的数据和数据间的联系规则。 2?稻萃诰蚍椒0挠t ? 1.2.1重复项增量挖掘 重复项增量挖掘是关联模型应用中的一个基本问题。由于并非每条告 警都表示某故障的根本原因，需要对告警数据进行规则处理，将多个告警 合并成一个包含更多信息量的告警，以便确定反应故障根本原因的告警， 从而对故障进行定位。然而对所有数据进行分析处理数据量过大，导致系 统效率低下，因此需要通过设置反映需要监测的告警数据频繁程度的支持 门限实现重复项增量挖掘。支持门限增大算法效率会提高，但会减少处理 的告警项目；支持门限减少算法执行效率会下降，但可以处理更多的告警 项冃。因此需要针对用户需要不断调整支持门限，并采用不同算法来对数 据进行处理。当需处理的数据为日常事件、常规数据时，可采用CHARM算 法，使用混合搜索策略跳过树的多层进行重复项搜索，提高搜索效率；若 处理故障性数据时，通常采H1B0DHI算法，通过数据间的关联和削减，确 定关键数据，然后判断系统故障节点［1］。 1.2.2告警增加时增量挖掘 随着告警数据增加，己有挖掘结果也会受影响，此前所用模型可能不 再适用。为保证规则有效性需要及时应对数据更新带来的变化，但若每次 都不利用现有结果而重新发现所有数据，将会造成巨大浪费。 本文发现，若每次增加相同数据集，则支持门限越小，性能提高越显 著；若支持门限相同，则数裾集增加量减少，性能提高越显著。此时可采 用PADMAN算法［2］,该算法复杂度取决于支持门限以确定的重复项个数， 而跟数据量大小关系不人，在支持低门限条件下，算法对稠密数据库性能 改善更为显著。从重复数据项中发现关联规则的经典算法是APRIORI规则 产生算法［3］，其可从重复数据中发现所有满足支持门限和置信门限的强 关联规则。 二、数据挖掘在计费管理系统中的应用 2.1网络计费管理系统概述 计费管理也是通信企业网络管理的重要组成部分，计费管理的有效性 直接关系到通信企业计费结算业务是否能够平稳开展。计费管理主要提供 账单査询等各种收费报表的査询统计，为企业各种服务决策提供数据支 持。随着计费管理越來越多的业务数据和网络数据，需要对数据进行全力* 位的提取和分析，进而进一步分析用户行为，并定期总结用户流量信息。 2.2计费管理系统中的数据挖掘方法 1关联挖掘 应用关联模型发现诸如IP端门使用频率，IP端门和数据包之间等网 络1P流量之间的关系。正常行为下，IP-端口的对应关系是多种多样的， 数裾包的大小也不固定；若应用关联挖掘模型测出某IP-端门使用率非常 高而数据包却不大，则有可能是网络攻击等异常行为。此外，关联挖掘可 根据IP-端口对应和数据包的使用频率更变网络策略。如“10k-100k，d-80” 说明80端口使用率较高，大量用户在浏览网页，可据此调整网络策略［4］。 2.2.2序列挖掘 通过建立时序模型，连接挖掘项冃和时间，对在线人数、在线记录、 发送帧数、发送字节数、接收帧数、接收字节数等时间相关联数据进行处 理。时序模型通过自身的时间和度量值构成二维曲线反映网络情况。正常 行为下，曲线都是平稳有规律性的；曲线出现抖动、暴增、骤降等，都可 以看为不正常行为，可据此判断有网络故障或存在入侵行为［5］。 2. 3分类挖掘 分类挖掘可以帮助网管人员根据用户购买的不同业务属性判定用户 喜好。分类模型可组合二维及以上的筛选浏览，并可进行细化和汇总，进 行多重统计工作［6］。 三、数据挖掘在用户管理系统中的应用 1用户管理系统概述 通信领域竞争日趋激烈，企业除需面对同行之间的竞争，还