分布式关联规则挖掘算法研究和应用.pdf

Y1 分布式关联规则挖掘算法的研究与应用 摘要 近些年来信息技术飞速发展，特别是数据库技术的更新换代，各个领域的数据都 出现了爆炸性增长。与此形成鲜明对比的是，从数据中提炼出来的对人们决策有价值 的知识却十分匮乏。数据挖掘正是在这一背景下诞生的一门新学科。关联规则挖掘是 数据挖掘领域当前研究的主要热点之一，用于确定数据集中不同数据项或属性之间的 联系，找出有价值的多个域之间的依赖关系。关联规则挖掘具有计算量大，I／O负载 集中的特点，一方面，许多关联规则的实际应用涉及到海量数据，即使对算法进行了 优化，在单处理机上使用串行算法进行挖掘所需要的时间可能也是无法接受的；另一 方面，在实际的应用领域，业务数据存储于多个地点，各个站点之间需要共享全局规 则模式，而且这些站点的数据有可能会发生一些动态地增量变化，在这种情况下，必 须依靠高性能分布式关联规则挖掘来有效地完成挖掘任务。频繁项集挖掘是生成关联 规则的关键步骤，其效率问题是关联规则挖掘中的一大难点和热点。在前人研究的基 础上，论文基于分布式环境中的数据集，和所涉及到的算法数据结构，对全局频繁项 集的挖掘问题进行了深入的分析和研究，从分布式环境挖掘中的剪枝策略、网络通信 策略和增量挖掘方法等角度着手，进一步改进了全局频繁项集的挖掘算法，文章的最 后还例举了算法的应用。概括一下本文工作，主要包括以下几个方面： (1)提出一种基于频繁模式树与最大频繁项集的分布式全局频繁项集挖掘算法 BFM．MGFIS。该算法引入子集枚举树以实现有序挖掘与优化全局剪枝策略，有效地 减小了候选项集且提高了并行性，最后，通过实验证明提出的算法是有效可行的。 (2)讨论数据更新情况下规则模式的维护与更新，提出一种增量式的分布式全局 频繁项集挖掘算法，该算法基于Canl’ree前缀树，使得频繁模式不再依赖于频繁1项 目集序列，而是由用户指定的某一序列，据此对数据项进行排序，这样数据项的排序 与更新无关，且树中保留了数据库的所有信息，仿真实验证明提出的方法是有效可行 的。 (3)围绕提出的两种算法实现了分布式关联规则挖掘模拟系统，将两种算法应用 于实际的生物学数据分析中，以发现野生蘑菇的性状与其毒性的关联关系。 关键词：数据挖掘；关联规则；分布式挖掘；子集枚举树；全局频繁项集 II RESEARCHoNDISTRIBUTEDASSoCIATIONRULES MININGALGoIUTHMANDITS APPLICATIoNS ABSTRACT Witllthe ofi耐b肌ation iIlrecent r印iddeVelopment tecllIlologyyears，in particular the of蛐aSe isShowninVariousfields．In upgrading tecllIlology，№explosiVegrowtll Valuable extr：acted丘ommedatafordecisionis con舡aSt，the sharp kno、Ⅳledge Ve巧 scarce．D isanew t11at int11e aSsociation11Jle a_ta蛐g su协ectemergesback伊ouIld．The isoneofⅡlemainfocuSofcllITentDa：ta researchareawMchisuSedto milling