基于经典Apriori算法频繁模式挖掘算法.docVIP

基于经典Apriori算法频繁模式挖掘算法 　　摘 要 频繁模式挖掘在数据挖掘领域中有着大量的研究和广泛的应用。大型数据库中的频繁模式挖掘已经成为数据挖掘与知识发现领域的一个重要问题。本文在分析经典Apriori算法基础上，提出一种改进算法RF算法，该算法在计算候选项集支持度时，只选择交易记录中长度大于或等于候选项集长度的交易记录，减少了算法运行时间。实验表明，改进后的算法执行时间上表现出较好的性能。 　　【关键词】数据挖掘 频发模式 关联规则 项集 　　当数据挖掘是指从数据库的大量数据中提取出未知的、具有潜在实际价值的、隐含的信息，关联规则挖掘就是从海量的数据中寻找数据项间的关联关系。关联规则挖掘是由Agrawal等人于1993年首先提出，进而提出著名的Apriori算法，为了提高挖掘效率，许多学者先后提出基于Apriori算法的改进算法。 　　1 关联规则 　　设I={i1，i2…，id}是所有项的集合，而T={t1，..tn}是所有事务的集合，每一个事务ti包含的项集都是I的子集，在关联规则的分析中，包含多个项的集合被称为项集。例如一个项集包含了k个项，则此项集被称为k-项集。关联规则表达式X-Y，其中X和Y是不相交的项集，即X∩Y=Φ。支持度（support）是T中同时包含X和Y的事务占的百分比。置信度（confidence）是T中同时包含X和Y的事务占包含x的事务的百分比。项集的出现频率是包含项集的事务数，称为项集的支持度计数。支持度确定规则可以用于给定数据集的频繁程度。 　　关联规则挖掘步骤分为： 　　（1）根据给定的最小支持度，发现频繁项集。 　　（2）利用最小置信度，有频繁项集产生强关联规则。第1步是算法中非常耗时的，目前大部分改进算法都是针对第1步进行的，其决定了算法的性能。 　　2 Apriori算法分析 　　Apriori算法分为两个过程： 　　（1）通过迭代，发现交易数据库中的全部频繁项集。 　　（2）构建满足用户最小信任度规则。即首先找到频繁1-项集，记为L1，利用L1构建候选项集C2，根据C2挖掘出L2，如此不断重复操作，直到无法发现更多的频繁k-项集。 　　Apriori算法描述 　　输入：交易数据库D，最小支持度阈值min_sup 　　输出：D中的频繁项集L 　　1 L1：={frequent 1-itemsets}； 　　2 for（k=2；Lk-1≠；k++） 　　3 begin； 　　4 Ck：=Apriori_gen（Lk-1）； //实现连接和剪枝 　　5 for all affairs t∈D do 　　6 begin； 　　7 Ct=subset（Ck，t）； 　　8 for all candidates c∈Ct， do 　　9 c.count++； //计算支持数 　　10 end； 　　11 Lk={C∈Ck|c.count=min_sup}； 　　12 end； 　　13 return L：=∪KLk； 　　3 Apirori改进算法-RF算法 　　经典Apriori算法中，要核对每一个交易记录中所有长度的候选项集，也就是说，在计算k长度候选项集支持度的时候，在核对它的出现频率时，也要包括长度大于k，等于k及小于k的项集。而在RF算法中，在计算候选项集支持度时，只选择交易记录中长度大于或等于候选项集长度的交易记录，因为长度为k的候选项集是不会出现在长度为k-1的交易记录中，它只能出现在长度大于或等于k的交易记录中。利用RF算法可以改进经典Apriori算法的效率，减少算法时间复杂度。 　　基于Apriori算法的RF算法 　　Initialize： k：=1，C1=all the 1-item sets； 　　read the database to count the support of C1 to determine L1. 　　L1：={frequent 1-item sets}； 　　K：=2； // K represent the pass number 　　while（Lk-1≠） do 　　begin 　　Ck：= gen_candidate_itemsets with the given Lk-1 　　prune（Ck） 　　for all transactions t whose length is greater than or equal to k∈T do 　　increment the count of all candidates in Ck that are contained in t； 　　Lk：=All candidates in Ck with mi