高效的基于动态数据更新的关联规则挖掘算法.pdfVIP

维普资讯 2005 年 第 5期 计 算 机 系 统 应 用 高效的基于动态数据更新的关联规则挖掘算法 High—．efficientalgorithmsofminingassociationrulesbasedon incrementalupdates 刘 松 林海萍 (广州 广东商学院信息学院 510320) 摘要：在本文中，我们针对动态关联规则挖掘问题提出两个有效的处理算法，即ElM—A和 ElM—G算法。它们能 根据数据库的动态变化，高效地进行关联规则的更新。通过知识数据库的维护，最多只需要扫描原始数据库一 次，就能得到所需的频繁项 目集，能有效地降低更新关联规则所需的成本。 关键词 ：关联规则 动态关联规则挖掘 变动数据 原始数据库 1 引言 2 名词和符号的定义 关联规则是 目前应用最广泛的数据挖掘技术，在 在这一部分，将给出我们算法中所涉及到的名词、 以往的研究中，已经提出了不少算法来改善关联规则 符号及其定义说明。 的性能，例如Apdori、Partition、DHP、DIC等，但这些算法 名词、符号 定义说明 一 般都只适用于静态数据库的挖掘，如果数据库的内 KDB 知识数据库 容发生变动时，则必须重新执行一次该算法才能更新 DB 原始数据库中所有数据集合 有关规则。显然这种做法是相当费时的。为了解决这 △+ 新增数据库中所有数据集合 种动态关联规则维护更新的问题，已经有一些研究提 ik一 删除数据库中所有数据集合 出了解决方法，如 FUP、SWF算法等 ，虽然这些算法比 UD 更新后数据库中所有数据集合 静态挖掘关联规则节省了许多的成本并提高了效率， ADB 交易数据合并数据库 但这些方法仍有不足之处，如有的需要多次的扫描原 MlJ 知识数据库中的最小非频繁项 目集 始数据库以得到某些候选项 目集，有的需要重新产生 L ‘ 原始数据库D8中所保留已挖掘出的频繁k一项 大量的候选k一项 目集来更新频繁项 目集，使得性能 集集合 降低。 新增数据库△+中所挖掘出的频繁k一项集集合 在本文中，我们针对关联规则的动态维护问题提 Lbo 更新后数据库UD中挖掘出的频繁k一项集集合 c：b 新增数据库△+中的侯选k一项集集合 出两个新的算法EIM—A和EIM—G。这两个算法都是 minsup 最小支持度阀值(％) 通过一个知识数据库的建立来维护更新关联规则所需 6x 项 目集出现在DB中的次数 要的信息。EIM—A算法专门针对数据库中有新增数 6 项 目集出现在△+中的次数 据的情况 ，EIM—G算法可同时处理新增和删除数据的 ax 项 目集出现在△一中的次数 情况 ，同时为了避免产生的候选项目集过大，在算法中 口X 项 目集出现在UD中的次数 我们还采用了哈希表技术来压缩候选项 目集的大小。