基于元学习分布式挖掘频繁闭合模式算法研究.docVIP

基于元学习分布式挖掘频繁闭合模式算法研究 　　 (浙江工商大学 计算机与信息工程学院, 杭州 310018) 　　?? 　　摘 要：利用元学习技术提出了一种分布式挖掘频繁闭合模式算法；为适应不同的分布式环境，还给出了该算法的一个变种；最后通过实验讨论了不同分布式下选取算法的策略。算法具有挖掘效率高、通信量少、可靠性高的特点，适合分布式挖掘。 　　?す丶?词：数据挖掘； 频繁闭合模式； 分布式挖掘； 元学习 　　?ぶ型挤掷嗪牛?TP301.6 文献标志码：A 　　 文章编号：1001?B3695(2009)01?B0041?B03 　　?? 　　Study of algorithm for distributed mining frequent closed?? 　　patterns based on metalearn technology 　　JU Chunhua, NI Dongjun 　　?? 　　(College of Computer Information Engineering, Zhejiang Gongshang University, Hangzhou 310018, China） 　　?? 　　Abstract:This paper presented a distributed algorithm for mining frequent closed patterns using metalearning. In order to accommodate the different distributed environment, also presented another similar algorithm. In the end, discussed the strategy for choosing the right distributed algorithm by experiment. This algorithm is more efficient and has less communicated and high reliability, applicable to distributed mining well. 　　??Key words：data mining; frequent closed patterns; distributed mining; metalearning 　　?お? 　　频繁模式挖掘在数据挖掘领域有着广泛的应用。虽然频繁模式的挖掘在近些年来被深入研究，也提出了一些比最初的Aprior算法[1]性能更好的算法，但是一旦支持度降低或数据倾斜，频繁模式的数量就会急剧增加，这些算法的性能也将急剧下降。用频繁闭合模式挖掘代替频繁模式挖掘是近年来提出的新策略。频繁闭合模式集合包含了频繁模式集合的全部信息，但数量前者通常比后者要小很多。此外，由频繁闭合模式集合可直接产生无冗余的关联规则。近年来随着分布式环境的日益普遍，而现有的挖掘频繁闭合模式算法如AClose[2]、CLOSET+[3]、CHARM[4]等都是针对单处理器、单一数据集，不适用分布式环境。所以研究分布式下的挖掘频繁闭合模式算法具有重要意义。本文在已有挖掘闭合模式算法的基础上，针对频繁闭合模式和分布式环境的特点，提出利用元学习技术并行地在各个站点挖掘局部频繁闭合模式；然后根据不同的分布式环境采用不同的学习策略，最终挖掘出全局频繁闭合模式。?? 　　1 问题描述?? 　　1.1 频繁闭合模式?? 　　给定一个事务数据库DB，??I={I??1,I??2,…,I??m}??为DB中??m??个不同项目的集合。DB中每一个事务??T就是I中的一组不同项目集，即T??I。?オ? 　　定义1 模式??X??在DB中的支持度定义为sup(??X)??=DB中包含??X??的事务个数/DB中的总事务个数。?? 　　定义2 模式??X??如果满足sup(??X??)≥min_sup，则称??X??是频繁模式，min_sup是设定的最小支持度阈值。?? 　　定义3 对于模式??X，如果不存在任何真超集Y??，使得sup(??X??)=sup(??Y),则称X是闭合的；如果X既是频繁的又是闭合的，则称X是频繁闭合模式。?オ? 　　引理1 在DB中，包含频繁模式??X且与X有相同支持度的频繁闭合模式有且仅有一个[5]。?オ? 　　引理2 设??X、Y??都是频繁模式，假如??X??Y??且sup(??X??)=sup(??Y),则X不是频繁闭合模式。?オ? 　　1.2 分布式频繁闭合模式挖掘?? 　　假设分布式数据库DB{DB??1,DB??2,…，DB????n}在分