基于VOPP并行编程环境最大频繁项集生成方法.docVIP

基于VOPP并行编程环境最大频繁项集生成方法 　　(1.天津大学 计算机科学与技术学院, 天津 300073； 2. 天津工程师范学院 计算机系, 天津 300222) 　　 　　摘 要： 　　频繁项集挖掘是关联规则挖掘的核心内容，提出了一种挖掘最大频繁项集的并行算法CDTR。它对CD (counting distribution)算法进行了改进，根据一种新的分布式共享内存环境下面向视图并行编程思想，将数据库划分成视图。为了实现动态任务分配，对数据库进行了预处理。实验结果显示CDTR能够高效地生成最大频繁项集，大大提高了分布式共享内存系统的效率。 　　关键词：分布式共享内存系统; 面向视图并行编程； 关联规则； 最大频繁项集 　　中图分类号：TP338.6文献标志码：A 　　文章编号：1001-?B3695(2009)04-?B1305-?B03 　　 　　Algorithm for finding frequent itemsets based on VOPP 　　 　　ZHENG Xiao-yan1，2, SHI Lian-shuan2, SUN Ji-zhou1 　　(1.College of Computer Science Technology, Tianjin University, Tianjin 300073, China; 2.Dept. of Computer, Tianjin University of Techno-??logy Education, Tianjin 300222, China) 　　 　　Abstract: 　　Mining frequent item sets is a crucial issue in data mining applications. This paper proposed a novel and powerful parallel algorithm for mining maximal frequent item sets, called CDTR. CDTR improved the counting distribution algorithm based on VOPP (view-oriented parallel programming), a novel style for parallel programming on cluster computers. It divided search space into views and preprocessed database to help dynamic tasks allocation. Experiments show that CDTR finds maximal frequent item set efficiently and improves the performance of distribution shared memory system. 　　Key words：distribution shared memory; view-oriented parallel programming; association rules; maximal frequent itemsets 　　 　　关联规则挖掘是数据挖掘领域中一个非常重要的内容，最早在1993年由Agrawal等人[1]提出，受到广泛的关注，并在实际应用中越来越显示出它的地位。研究人员针对关联规则挖掘提出了很多有用的算法，但是随着数据库规模和网络通信能力的不断提高，数据挖掘所面对的数据量迅速膨胀，加之关联规则挖掘算法的计算量和I/O量都很大的特点，串行挖掘算法远远不能满足实际需要。所以并行关联规则挖掘算法成为研究的重要课题，已经提出的并行算法主要有产生候选集和不产生候选集两类方法，产生候选集的方法主要基于Apriori算法[1]。本文讨论基于一种新的面向视图并行编程（view-oriented parallel programming,VOPP）思想的关联规则挖掘算法。VOPP是Huang 等人 [2]提出的一种新的分布式共享存储系统下的编程思想。 　　?ツ壳?PC机群上的并行编程模型有两类，即消息传递模型和共享存储模型。消息传递模型的工业标准是消息传递接口 (message passing interface,MPI)，有多种具体的实现。运行在PC机群上的共享存储系统称为分布式共享存储系统(distributed shared memory,DSM)，DSM实际上是在消息传递分布式系统上，给程序员提供了一个虚拟的共享存储器的假象，这个环境下的编程很方便，可以省去很多与消息