带补偿的快速分布式关联规则挖掘算法的研究-计算机应用技术专业论文.pdf.docxVIP

摘要数据挖掘是指从大型数据库或数据仓库中提取隐含的、先前未知的、对决策有潜在价值的知识和规则。它是人工智能和数据库发展相结合的产物，是目前国际上数据库和信息决策系统的前沿研究方向之一。其中，关联规则挖掘是近几年研究较多的数据挖掘方法，应用也最为广泛。文中详细介绍了关联规则的基本概念、性质及其经典算法。现有的关联规则挖掘算法和模型主要是基于数据库或数据仓库的，采用集中式处理。随着分布式数据库和网络技术的发展，它们已经不能满足分布式数据挖掘的需要。分布式关联规则的挖掘就是在这样的背景下提出的。目前，大多数分布式挖掘算法或并行算法都是从相应的集中式算法中发展起来的。因此，本文首先介绍了关联规则的基本概念、性质和集中式关联规则挖掘经典算法（Apriori算法）。在此基础上，介绍了快速分布式关联规则挖掘FDM（Fastdistributedminingofassociationrules，快速分布式关联规则挖掘）算法及其采用的主要技术：它充分利用有关局部大项集和全局大项集之间的关系生成较少量的候选数据集，在每个站点进行局部剪枝和全局剪枝；引入合计数轮流检测技术交换支持数信息，显著减少了在挖掘关联规则时的网络信息传输量。通过对FDM的深入分析，我们发现FDM算法在计算事务数据库D上全局大的频繁k-项目集Lk时，容易造成全局频繁项目集的丢失，因而使得关联规则挖掘结果与实际的频繁项目集不一致。针对FDM算法中所存在的不足，本文提出了CFDM（Compensatedfastdistributedminingofassociationrules，补偿式快速分布式关联规则挖掘）算法，它成功的解决了FDM算法中频繁项目集丢失的问题，保证了分布式数据库D上频繁项目集的完整性。在提出CFDM算法的基础上，本文还在Java语言环境下初步设计了基于CFDM算法的关联规则挖掘系统。关键词：数据挖掘、分布式数据库、关联规则、FDM算法、CFDM算法ABSTRACTDataminingacquiresknowledgeandrulesthatareimplicit,unknownandhavingpotentialvaluefordecision-makingfromlargedatabasesordatawarehouses.Itistheresultthatcombinesartificialintelligenceanddatabase.Atpresent,dataminingisoneofthemostadvancedresearchdirectioninthefieldofdatabaseandinformationdecision.Associationrulesminingisactivedataminingresearchareaandapplies morewidelythanothermethods.Inthedissertation,itintroducesthebasic concepts,characteristicsandfamousalgorithmsofassociationrulesminingindetail.Existingalgorithmsandmodulescatertoacentralizedenvironment,suchasdatabaseordatawarehouse.Withthedevelopmentof distributeddatabaseandnetworktechnology,theydonotmeettheneedsof miningrules fromdistributeddatasets.Theinterestindistributedassociationrulesminingarisesfromthissituation.Atpresent,mostofthedistributedorparallelingminingalgorithmsaredevelopedfromcorrespondingsequentialones.Sothebasicconcepts,characteristicsandfamoussequentialARalgorithmsareintroducedinthedissertationatfirst.ThenFDMalgorithmandthetechniquesthatareusedwithFDMalgorithmarereferred.FDMalgorithmusestherelationshipsbetweenthelocallylargeandgloballylargeitemsetstogenerateasmallernumberofgloballyca