基于分布式思维的云计算数据挖掘平台设计.docVIP

基于分布式思维的云计算数据挖掘平台设计 　　摘要：在云计算背景下，海量数据信息相互影响，对原本的关联规则形成冗余干扰，导致当前以线性思维为主导的挖掘平台受到冗余干扰的影响，挖掘效率低下。为此，在分析传统方法弊端的基础上，提出了基于分布式思维的数据挖掘平台设计方法。为了解决冗余干扰问题，设计了一种冗余消除算法，以计算区域之间的相似度，形成分布式挖掘关联。试验结果证明，这种分布式数据挖掘平台可达到数据搜索简单、快速，且降低成本的目的。 　　关键词：云计算；分布式思维；分布式系统；数据挖掘 　　DOIDOI：10.11907/rjdk.171008 　　中?D分类号：TP319 　　文献标识码：A 文章编号：1672-7800（2017）006-0094-03 　　1 线性思维下数据挖掘平台存在的问题 　　当今，每天数十亿用户的各种操作产生了海量数据信息，对这些信息的存储、处理分析与数据挖掘成为互联网的主要技术问题。当前的大型数据挖掘平台设计主要以线性数据关联规则挖掘算法为理论依据，对海量数据下的数据库中的知识进行智能化发现，是一种基于人工智能、机器学习、模式识别、统计学、数据库、可视化技术等各种技术的一系列决策过程[1-3]。 　　当前以线性思维为主的数据挖掘平台设计流程包括数据准备、数据挖掘、结果表达3个阶段。数据挖掘平台设计的具体步骤为：①问题定义。清晰问题、确定目