一种有效的并行频繁项集挖掘算法.pdfVIP

第25卷第 11期 计 算 机 应 用 研 究 Vo1．25No．11 2008年 11月 ApplicationResearchofComputers NOV．2008 一 种有效的并行频繁项集挖掘算法 王丹阳，田卫东，胡学钢 (合肥工业大学计算机与信息学院，合肥230009) 摘 要：传统的挖掘频繁项集的并行算法存在各节点间负载不均衡、同步开销过大、通信量大等问题。针对这 些问题．提出了一种多次传送重新分配数据的并行算法(MRPD)。MRPD算法在第z步时将数据库重新划分成 若干组，并根据各节点的需要多次传送分组；各节点获得完整分组后异步地计算频繁项集；所有节点计算完成 后，得到全部频繁项集。理论分析和实验结果表明MRPD算法是有效的。 关键词：数据挖掘；并行算法；频繁项集 中图分类号：TP182；TP301．6 文献标志码 ：A 文章编号：1001—3695(2008)11-3332—03 Effectiveparallelalgorithm forminingfrequentitemsets WANG Dan—yang，TIANWei—dong，HU Xue-gang (SchoolofComputer＆Information，HefeiUniversityofTechnology，Hefei230009，China) Abstract：Therewereproblemsintraditionalparallelalgorithmsforminingfrequentitemsets，suchasloadimbalance，fre— quentsynchronization，largescalecommunicationandSOon．Aimingatsolvingtheseproblems，thispaperproposedaparallel algorithmwithmuhi-transmittingredistributeddata(MRPD)．InMRPD，datawasredistributedintosomegroupsatstep1， andal1htegroupsweremulti．transmittedaccordingtotherequestofcomputernodes．Eachnodewouldcomputefrequentitern— setsasynchronouslyafterhavingreceivedonefullgroup．Finally，resultedtheintergatedfrequentitemsets．Theoretical analy— sisna dexperimentalresultssuggestthatMRPDiseffective． Keywords：datamining；parallelalgorithm ；frequentitemsets 数据挖掘又称做知识发现 (knowledgediscoveryofdata— 时工作，节点P(‘i=1，2，…，n)只处理 自己的私有数据 base，KDD)，是继网络之后的又一大技术热点。关联规则挖掘 (i=1，2，…，n)，各台节点问仅通过网络传递有限的信息，最终 是数据挖掘的重要功能之一，用于发现大量数据中项集之间有 在整个事务数据库D中挖掘出频繁项集。 趣的关联和相关关系。挖掘关联规则的核心是发现频繁项 1．2 本文中符号的定义 集…，现已有多种发现频繁项集的串行算法，如 Apriori 、 ： 由频繁 一项集构成的集合，集合的每个成员有两个域， PARTITION jFP—growthl4及抽样算法等。但是，现在用于频 、