《一种基于混合型结构优化算法——Apriori—Mend算法》.pdfVIP

· 计算技术 · 常 睿 陈志伟 一种基于混合型结构优化算法——Apriori—Mend算法 49 一 种基于混合型结构优化算法 Apriori—Mend算法 常 睿，陈志伟 (常州工学院 校长办公室，江苏 常州 213002) 摘要：关联规则挖掘是数据挖掘领域 中最重要的研究问题之一。Apriori是关联规则挖掘 的一种 经典算法，它使用候选项集产生测试机制来找 出所有满足用户最小支持度的项集，但它需要 多次 扫描数据库，会产生大量的候选项集。针对Apriori算法的不足，提 出了一种基于混合型新的优 化算法：Apriori—Mend算法。该算法从优化产生2项集、事务压缩等几个方面对Apriori算法进 行优化，将散列技术应用于产生 1项集和 2项集，采用库优化策略和混合型存储结构，以节省空 间和运算时间。实验结果表明，Apriori—Mend算法运行速度比Apriori算法有明显的提高。 关键词：关联规则；Apriori算法；散列结构；Apriori—Mend算法 中图分类号：TP311 文献标识码：A 文章编号：1672—16,16(2011)19—0049—05 关联规则的挖掘在数据挖掘领域中是非常重 1 混合型存储结构 (MixedTypeStmc— 要的，而在挖掘频繁项集的方法中，主要是以 1994 ture) 年Agrawal所提出的Apriori算法 【卜2J最具代表 以往的事务数据库 D在存储每个事务时都要 性，由于Apriori算法不断重复利用前一阶段的频 存储其对应的项 目编号，当项 目编号很多时，需要 繁项集来产生下一阶段的候选项集，再去计算每个 大量的空间进行存储，并且运算时间也会增加。基 候选项的支持度，然后根据最小支持度和最小置信 于此，本文提出一个结合项 目编号集与其补集的一 度作为阈值，过滤掉非频繁项集，根据得到的频繁 种混合型存储结构，每个事务只存储其对应的项 目 项集推导出关联规则。挖掘关联规则的对象是含 编号集和项 目编号补集中个数较少者，从而达到节 有大量事务的数据库，所以如何设计一种高效的算 省内存空间的目的。这对于密集或稀疏的数据库 法，提高计算效率，降低扫描数据库的次数 ，是研究 来说，所使用的空间会大大减少。 关联规则的主要课题。 设 = {i1，i2，…，i}是全体项的集合，其中 Apriori算法存在以下不足之处：(1)Apriori算 的元素称为项。设 了、为全体事务集，每条事务 t有 法中每生成一个候选项集，都要对数据库进行一次 惟一标识TID，且 t Io对于项集x jr，称x在 全面的搜索。当数据库中存放大量的事务数据时， t中出现当且仅当X t。 在有限的内存容量下，系统负载相当大，每次扫描 假设 y T，在此定义 y所对应的项 目编号 数据库的时间很长，效率很低。(2)在由 (k一1)频