基于分布式计算的一个最大频繁项目集挖掘算法.pdfVIP

计算机科学2007V01．34№．8A 基于分布式计算的一个最大频繁项目集挖掘算法*) AMaximumItemsets BasedonDistributed Frequent MiningAlgorithm Calculating 林字叶东毅 (福州大学数学与计算机科学学院福州350002) Abstract maximumitefnsetsisall indata field．AndhowtOn1：inemaxi— Mining frequent importantproblemrniIling mills ofdistributedinfrastructurein dataSetisa issue．Consid— frequentiternsets切．kingadvantage large me砌dd theactual and distributed theDISMFI ering characters，looseclassifiable，ofdatabases，thispaperpresents algo- fithmbasedon transactions．This thedatastructureclassification，andthe dividing algorithmoptimizes by chnges tOlocal tonlakefulluseofdistributed and solving parallelsolving calculating efficiency．Experimen- global improve talresultsshowthatDISM匣Iiseffectiveandefficient． Data itemset，Distributeddatabase Keywonts frequent m峨，Maximum 关联规则挖掘是数据挖掘中一个基本而重要课 关联规则挖掘。FDMA[1‘]算法，在DMA的基础 题，它反映了大量数据中的某些项目之间隐含的相 上，使用基本的逻辑运算操作来降低算法的实现难 关性和依存性[1~4】。对于如何更高效地求解，多年度。FMGMFI[15]算法，使用了最大频繁项目集挖 来已经有许多研究者从不同方面进行尝试，并提出 掘，FP-tree存储结构，并采用了双向搜索策略，来有 了各自的算法：Agrawal提出了经典的Apriori[2]算效地降低网络通信代价。但这些方法主要着眼于在 法，自底向上地求解所有频繁项目集；韩家炜等人根 分布式环境下改造已有的经典算法，以及如何降低 据数据集的特点，提出了具有针对性的FP_tree[5]结网络通讯的代价，并未充分结合实际数据库的特点。 构，大大地降低了扫描数据库所需的代价；还有通过 事实上，在实际应用中，数据往往有以下特点： 求解最大频繁项目集，来对问题进行转化求解的多 ①分布式结构，数据并不存在单一数据库中，而是 种算法[6~9]。其中最大频繁项目集挖掘是近年来很分布式存储；②稀疏，一件事务所含项目的个数远 受关注的一类方法。在这一方面，比较具代表性的 小于项目总数；③可归并，经过简单的排序和比较 有Max-Miner[引、FpMax【9l、DMFIAC61等。Max-就可以发现事务是可归类的，某一类事务的所含的 Miner的特点是改变了自底向上的传统思路，采用项目集都是某个集合的子集。以超市数据库为例， 动态排序的方法对项目集进行了剪枝，但在修剪时