基于线性链表存储结构的Apriori改进算法.docVIP

基于线性链表存储结构的Apriori改进算法 赵明茹 郭键 孙媛 （北京物资学院 信息学院，北京市，101149） 摘要：Apriori是最有影响的挖掘关联规则频繁项集的算法。但是Apiori由于需要多次对数据库进行扫描，所以运行效率比较低。在Apriori算法的基础上，本文提出了一种基于线性链表的频繁项集挖掘算法，实验证明该算法能够有效提高执行效率。 关键词：数据挖掘；关联规则；Apriori算法；线性链表 中图分类号：TP311 文献标志码:A An Improved Algorithm of Apriori Based on Liner List Zhao Mingru ,Guo Jian ,Sun Yuan (School of Information , Beijing WuZi University ,Beijing 101149, China) Abstract: Apriori is the most influential frequent pattern mining algorithm. However, because the Apriori algorithm scans the database many times, so the efficiency of Apriori is relatively low. In this paper, a new Apriori algorithm based on liner list was proposed, the new Apriori algorithm can improved the efficiency of Apriori algorithm by experiments. Keywords: Data Mining ; Association Rules ; the algorithm of Apriori ; liner list 引言 数据挖掘是从数据库中抽取隐含的、以前未知的、具有潜在应用价值的信息过程。关联规则挖掘发现大量数据中项集之间有趣的关联或相关关系，关联规则在数据库挖掘中占有非常重要的地位。 Apriori是关联规则挖掘的经典算法。它是一种挖掘单维、单层、布尔关联规则的算法，由Rakesh Agrawal Rama 和krishnan Skrikant 于1993 年提出的，Apriori算法采用两阶段挖掘的思想：第一阶段挖掘频繁项集，第二阶段挖掘频繁关联规则。a,b,d,e 2 a,c,e 3 a,d 4 b,e 5 a,c,d 把此数据库中的信息用线性链表表示，构造对应于表1的线性链表。(见图1) 图1事务数据库的线性链表表示2.2 改进的Apriori算法 本文用两个链表存储了所有有效的数据信息。把在数据库中挖掘频繁项集转化为在链表中挖掘频繁项集。改进的算法步骤如下： （1）扫描事务数据库，产生该事务数据库所对应的链表。并生成频繁1-项集。 （2）生成频繁k-项集Fk。连接候选项集Fk-1，生成候选项集Ck。验证Ck是否是频繁项集。沿着事务标识链表，依次搜索每一个事务，判断该事务中是否包含候选项集Ck。对于一个事务第一个匹配成功的字符，查看该字符所在的中间节点的number域是否小于k，如果小于k，继续向下匹配下一个事务。否则判断当前事务是否包含Ck，如果包含Ck的支持度加1。继续匹配下一个事务，得到Ck的支持度。 （3）对每一个Ck都判断其支持度是否小于min_sup，如果不小于，就将该k-项集添加到Fk中。输出频繁K-项集Fk。 算法性能分析 本文的算法NewApriori是在Windows 2000的平台下以Java代码进行实现。算法运行在512M内存，2.0GHZ Cpu 环境下。我们将NewApriori和Apriori方法进行对比。Apriori方法运行在同样的环境下。 我们采用较为稀疏的数据集retail进行测试。该数据集是一个由零售系统中的实时数据生成的数据集，共9776个事务。测试结果，NewApriori和Apriori输出的频繁项目集完全相同，在支持度为0.01、0.02、0.03和0.04时，NewApriori算法的执行时间均比Apriori算法的执行时间短。尤其当支持度比较小时，Apriori算法执行的时间较长，NewApriori能显著提高算法的效率。(见图2) 图2算法性能比较 总　结 本文在分析经典关联规则挖掘算法Apriori的基础上，对apriori算法进行了改进。利用链表存储事务数据集，减少了数据库的扫描次数和在统计候选项集支持度时需要扫描的事务数目，实验表明该算法可以显著提高Apriori算法的效率。