分布式关联规则挖掘研究.pdfVIP

第33卷第4期 南京JllJJ』＼‘报 (自然科学版) Vo1．33No．4 2010年 12月 JOURNALOFNANJINGNORMALUNIVERSITY(NaturalScienceEdition) Dec，2010 分布式关联规则挖掘研究 王治和，景永霞，杜 辉 (西北师范大学数学与信息科学学院，甘肃 兰州730070) [摘要] 针对分布式关联规则挖掘算法FDM可能造成频繁项集丢失的缺点 ，提出了一种改进的分布式环境下 关联规则挖掘算法．该算法采用全局～局部通信模式，通过对候选项集建立对应的频繁标记，把频繁标记和频繁 项集的支持计数作为各局部站点和全局站点之间的传输内容．该算法不仅保证了数据挖掘结果的完整性和正确 性，同时也减少了站点间的通讯量． [关键词] 分布式环境 ，数据挖掘，关联规则，FDM [中图分类号]TP301．6 [文献标识码]A [文章编号]1001-4616(2010)04-0114-05 StudyofDistributedAssociation RuleM ining WangZhihe，JingYongxia，DuHui (CollegeofMathematicsandInformationScience，NoahwestNormalUniversity，Lanzhou730070，China) Abstract：AimingattheshortcomingofFDM algorithm thatmaycausetolosetherfequentitemsets，animprovedalgo— rithmofdistributedassociationrulesmining(IADM)basedondistributedenvironmentwaspresentedinthispaper．This algorithm usesglobal—localcommunicationmode，buildsafrequentmarkforeachcandidateitemset，transmitsrfequent marksandsupportcountsofrfequentitemsetsbetweeneachlocalsiteandglobalsite．Itnotonlyguaranteestheintegrity andaccuracyofthedataminingresults，butalsocutsdownthecommunicationoverheadamongsites． Keywords：distributedenvironment，datamining，associationrules，FDM 分布式数据挖掘是从多个在物理位置上分布的数据库中进行数据挖掘的过程，现 已成为数据挖掘领 域一个倍受关注的热点问题．在分布式数据环境下进行关联规则挖掘 ，其主要工作是汇总各局部站点上的 局部频繁项集，从中找 出满足全局最小支持度的全局频繁项集，从而通过它们生成相应的关联规则．现有 的分布式关联规则挖掘算法大多都是基于Apriori算法思想的，如CD算法和FDM算法就是在Apriori算 法的基础上实现的分布式关联规则挖掘算法． CD算法是最典型的Apriori算法的并行化，但由于CD算法不管候选项集是否频繁，站点之间都传递 候选项集的信息，严重浪费了通讯资源的带宽，导致在候选项集过多的时候会在很大程度上影响算法的执 行效率，并造成通讯量的过载．FDM算法是CheungDW为了减少各个分区间的通讯量而提出的，但该算 法有可能丢失频繁项集． 本文算法就是针对FDM算法在计算分布式数据库的频繁项 目集时，可能导致全局频繁项 目集丢失这 个问题而提出的， 1 FDM算法的不足 为了减少各个分区间的通讯量 ，CheungDW 在 1996年提 出了FDM(FastDistributedassociationrules Mining)算法 ,21，FDM算法是一种在无共享计算机间实现的并行Apriori算法，每个站点都有它 自己独立 的数