基于布尔矩阵关联规则算法研究.docVIP

基于布尔矩阵关联规则算法研究 　　摘 要：针对可快速在大型交易事务数据库中挖掘关联规则的问题，基于布尔矩阵提出一种新的挖掘算法。该算法通过仅需存储布尔位节约了内存，通过简单布尔运算提高了求解频繁项集的效率。实验证明该算法较之于Apriori 算法有更好的性能。?? 　　关键词：数据挖掘；关联规则；矩阵；Apriori算法；频繁项集?? 　　中图分类号：TP301．6 文献标志码：A 　　 文章编号：1001-3695(2008)07-1964-03 　　?? 　　Research of association rules algorithm based on Boolean matrix?? 　　FANG Wei??wei????1，2??，YANG Bing??ru??1，SONG Wei??1，HOU Wei??1 　　??(1.School of Information Engineering, University of Science Technology Beijing, Beijing 100083, China；2.Information Center, Beijing University of Information Science Technology, Beijing 100192, China) 　　??Abstract:For improving efficiency in data mining from transaction database, the paper proposed a new algorithm based on Boolean matrix, it saved memory by only storing Boolean bit, and solved frequent itemset faster by Boolean operation. Experiment proves that the new algorithm has better capability compared with Apriori algorithm.?? 　　Key words:data mining;association rule；matrix；Apriori algorithm；frequent itemset?お? 　　 　　0 引言?? 　　 　　近年来随着数据库技术、人工智能和数理统计等技术的发展, 数据库中的知识发现(KDD) 和数据挖掘技术(DM) 应运而生。在事务数据库中挖掘关联规则是数据挖掘的重要研究方向,它是由Agrawal等人于1993 年首先提出的, 是KDD 研究的重要内容。其最初提出的动机是针对购物篮分析问题,目的是为了发现事务数据库中不同商品之间的联系规则, 这些规则刻画了顾客购买行为模式, 可以用来指导商家科学地安排进货及货架设计等。之后关联规则挖掘在基因分析、金融证券分析、电信和保险业等领域的成功应用更体现出它的巨大发展潜力和应用前景[1]。?? 　　最著名的关联规则挖掘算法是Agrawal于1994年提出的Apriori 算法[2]。Apriori 算法的基本思想是基于频繁项集理论的递推方法, 核心是用前一次扫描数据库的??k??项频繁集产生本次的(??k??+1)项候选频繁集。但由于数据库的规模通常很庞大,每次迭代时产生候选项集需要首先判断两个??k项集是否与前(k-1)??项相同且最后一项不同,以及判断一个项集是否为另一个项集的子集；然后统计其支持度。这两个步骤非常耗时。目前,众多学者针对Apriori算法的不足,提出了许多较好的改进或扩展方法,如频繁闭项集法[3]、DHP法[4]、Partition法[5]、FP??Growth法[6]、闭包项集格[7]、TBAR算法[8]、动态剪枝[9]等。尽管这些算法各具优点且挖掘的性能和效率均明显高于传统的Apriori算法,但总的来说,算法仍较复杂。特别地,当项目集维数较大时,这些算法的挖掘效能仍然较低。?? 　　为了方便、快速地从事务数据库中挖掘出频繁项集,本文提出了一种简单、实用的基于布尔矩阵的有效挖掘方法。首先,将事务数据库映射到布尔矩阵；然后针对布尔排序矩阵的列向量应用向量内积运算,找出频繁项集可能存在的列以达到逐步浓缩布尔矩阵列向量的目的；最后从浓缩的布尔矩阵中快速、直观地归纳出事务数据库要找的频繁项集。该算法只需对事务数据库进行一次扫描，能大量减少I/O 次数；其次对项目支持度的计算变为对二进制的运算，降低了算法的实现?┠讯取＊??? 　　 　　1 关联规则的基本概念?? 　　 　　令??I={i??1,i??2,i??3,…,i??m}??是挖掘数据