一种关联规则增量式挖掘算法研究.docVIP

一种关联规则增量式挖掘算法研究 摘 要： 现有关联规则更新算法都是基于支持度-置信度框架而提出的，仅针对大于最小支持度闭值的频繁项集进行挖掘。为了提高告警关联规则的完整性和准确性，在相关度aarsc算法基础上，提出了一种增量式挖掘uaarsc算法(updating-aarsc)。该算法对增量计算进行了改进，可以发现频繁和非频繁告警序列间的关联规则。 关键词： 关联规则； 数据发掘； 滑动窗口； 增量计算 an algorithm of associative rule increment mining liu zaoxin （department of information engineering, jiangxi professional training college of transportation, nanchang， jiangxi 330013， china） abstract： the existing algorithms of association rule update are based on the framework of support-confidence and they mine only the frequent closure of the set value greater than the minimum support. to enhance the completeness and accuracy, the author presents in this paper an increment mining uaarsc algorithm based on the correlative aarsc algorithm. the algorithm improves incremental computation and may find the associative rules between the frequent and non-frequent alarm sequences. key words： associative rules； data mining； sliding window； incremental computation 0 引言 数据挖掘是从大量、不完整、有噪声的随机数据中，提取隐含在其中、人们不知道但又潜在有用的信息和知识的过程。agrawal等人提出了挖掘关联规则的一个重要方法—apriori算法[1]。为了挖掘具有时序特征的告警关联规则问题，hatonen等在apriori算法基础上提出了基于滑动窗口的winepi算法[2]，并在tasa(telecommunications alarm sequence analyzer)系统中采用了该算法[3]。这些算法的处理过程一般分为两个阶段：⑴利用支持度发现频繁告警序列；⑵利用置信度产生关联规则。为了提高算法的效率、减少数据库访问次数，避免在第一阶段中生成大量候选项目集，han等人提出了基于fp树生成频繁项目集的fp-growth算法，该算法将频繁项集压缩保存在一棵fp-tree中，在一定程度上提高了频繁项集的存取速度，从而提高了挖掘频繁项目集的效率。 以上算法都是在高支持度，高置信度的条件下，挖掘出告警关联规则。但在挖掘电信网络告警关联规则时，以高支持度和高置信度为条件的算法具有一定局限性。如在分析某省电信网管告警数据库连续6万条告警记录时发现，该数据库中共有1738个网元上报告警：其中1个网元上报8521次告警，1个网元上报4729次告警，14个网元上报告警次数在1000～2000之间，12个网元上报告警次数在500～1000之间，而上报告警次数小于100次的网元有1669个，若在上述告警数据库中采用apriori、winepi或fp-growth算法产生关联规则，即使支持度设定为1%也只能发现28个网元之间的告警关联关系，甚至设定为0.1%（己经很低了）仍然无法发现告警次数小于100的1669个网元之间的关联关系。而这些非频繁的告警序列之间也会存在一些关联规则，这些告警间关联规则在实际工作中对网管人员解决故障有很大的帮助。因此，挖掘在高置信度和低支持度（或者不考虑支持度）条件下的告警关联规则具有重要的实际意义。 在实际网络中非频繁告警的种类是巨大的，而且具有很强的随机性，挖掘这些告警间的关联规则，对于网络管理具有很大的实际意义。本文在分析以高相关度、高置信度为条件，在基于相关度统计的告警关联规则挖掘aarsc算法(alarm association rules algorithm based on statistical correlation)的基础上，为了适应告警数据动态增加的