云计算环境下海量数据挖掘的研究.pdfVIP

·4 · Computer Era No. 2 2015 云计算环境下海量数据挖掘的研究* 谢志明 (汕尾职业技术学院，广东 汕尾 516600) 摘 要：传统的数据挖掘模式和方法已经不能适应如今数据的快速增长，分析了将传统数据挖掘算法与云计算技术相 结合的实现过程。通过研究云计算环境下海量数据挖掘的三层模型，发现该模型最大的优点是数据挖掘速度快、可靠性 高，而且随着数据量的增加，该模型的优势也愈发明显。 关键词：云计算；传统数据挖掘；算法；海量数据挖掘；模型 中图分类号：TP391 文献标志码：A 文章编号：1006-8228(2015)02-04-03 Study on massive data mining based on the cloud computing environment Xie Zhiming （Shanwei Vocational and Technical College, Shanwei, Guangdong 516600, China ） Abstract ：The traditional mode and method of data mining are unable to adapt to the rapid growth of data. The traditional data mining algorithm is analyzed to realize the process of combining with the cloud computing technology. Through the research of massive data mining three layer model based on the cloud computing environment, the advantages of this model are its rapid speed and high accuracy of the data mining. With the increasing of data quantity, the superiority of this model is getting more obvious. Key words ：cloud computing ；traditional data mining ；algorithm ；massive data mining ；model 0 引言 1 云计算 随着云计算、物联网、移动通信互联网、社交网络和数据自 1.1 云计算的定义 动采集技术的飞速发展，人类社会发生了翻天覆地的变化，与 云计算经过几年由概念到产业、由设想到技术的发展历 此同时，所产生的海量数据也正以前所未有的速度爆炸式增 程，目前已经成为了主流的网络架构方式。如果我们把云计算 长。美国互联网数据中心经研究发现，目前世界上每年产生的 看作是一种通过网络实现资源服务的模式的话，则云计算技术 数据大约以50%左右的速度在增长，平均每两年翻一番，而 可以被认为是实现云计算模式的所有技术的总称，这些技术包 90%以上的数据是近几年才产生的，大数据时代已经来临。数 括虚拟化技术、分布式计算技术、分布式存储技术、网络技术 据已经成为当今社会最为重要的社会资产，拥有信息量的多少 等。云计算时代的到来打破了传统IT技术固有的大型机模式， 已经成为决定和制约社会发展的重要因素。我们急需从这些 它带来的理念创新使服务可以直接当作商品来售卖，既节约了 数据中挖掘出宝贵且有价值的信息，以利于企业或部门对市场 计算成本又充分利用了计算资源，用户在需要时就像我们平常 作出正确的决策。云计算数据挖掘平台正好能高效地实现海 对水电消费的模式一样[1]，这种模式对组织业务的快速变更和 量数据挖掘的需求，该平台不仅能够对资源进行动态分