云计算环境下海量数据挖掘研究.docVIP

云计算环境下海量数据挖掘的研究 　　摘 要： 传统的数据挖掘模式和方法已经不能适应如今数据的快速增长，分析了将传统数据挖掘算法与云计算技术相结合的实现过程。通过研究云计算环境下海量数据挖掘的三层模型，发现该模型最大的优点是数据挖掘速度快、可靠性高，而且随着数据量的增加，该模型的优势也愈发明显。 　　关键词： 云计算； 传统数据挖掘； 算法； 海量数据挖掘； 模型 　　中图分类号：TP391 文献标志码：A 文章编号：1006-8228（2015）02-04-03 　　Study on massive data mining based on the cloud computing environment 　　Xie Zhiming 　　（Shanwei Vocational and Technical College， Shanwei， Guangdong 516600， China） 　　Abstract： The traditional mode and method of data mining are unable to adapt to the rapid growth of data. The traditional data mining algorithm is analyzed to realize the process of combining with the cloud computing technology. Through the research of massive data mining three layer model based on the cloud computing environment， the advantages of this model are its rapid speed and high accuracy of the data mining. With the increasing of data quantity， the superiority of this model is getting more obvious. 　　Key words： cloud computing； traditional data mining； algorithm； massive data mining； model 　　0 引言 　　随着云计算、物联网、移动通信互联网、社交网络和数据自动采集技术的飞速发展，人类社会发生了翻天覆地的变化，与此同时，所产生的海量数据也正以前所未有的速度爆炸式增长。美国互联网数据中心经研究发现，目前世界上每年产生的数据大约以50%左右的速度在增长，平均每两年翻一番，而90%以上的数据是近几年才产生的，大数据时代已经来临。数据已经成为当今社会最为重要的社会资产，拥有信息量的多少已经成为决定和制约社会发展的重要因素。我们急需从这些数据中挖掘出宝贵且有价值的信息，以利于企业或部门对市场作出正确的决策。云计算数据挖掘平台正好能高效地实现海量数据挖掘的需求，该平台不仅能够对资源进行动态分配和调度，而且还具有虚拟化和可用性高等特点。有学者为了证实云计算数据挖掘平台的高效性，设计了一个并行数据挖掘模型的实验，并在Google App Engine平台上运行，经过多次实验得出的结果是，在云计算数据挖掘平台上对海量数据进行挖掘的效率明显高于单机系统，且具有数据量越大，效率越明显的趋势。由此可见，将数据挖掘技术与云计算技术进行有效整合是一种确实可行的途径。 　　1 云计算 　　1.1 云计算的定义 　　云计算经过几年由概念到产业、由设想到技术的发展历程，目前已经成为了主流的网络架构方式。如果我们把云计算看作是一种通过网络实现资源服务的模式的话，则云计算技术可以被认为是实现云计算模式的所有技术的总称，这些技术包括虚拟化技术、分布式计算技术、分布式存储技术、网络技术等。云计算时代的到来打破了传统IT技术固有的大型机模式，它带来的理念创新使服务可以直接当作商品来售卖，既节约了计算成本又充分利用了计算资源，用户在需要时就像我们平常对水电消费的模式一样[1]，这种模式对组织业务的快速变更和创新升级的需求带来了极大的便利。 　　目前云计算服务形式主要有三种，一是基础设施即服务（IaaS），其特点是通过网络把不经封装的计算和存储资源以服务的形式提供给用户进行使用，类似于自来水厂供水模式；二是平台即服务（PaaS），其特点是以某种接口和协议把封装好的计算和存储资源供使用者进行调用而无需再面对底层数据库资源；三是软件即服务（SaaS），其特点是用户无需具有任何云计算知识和技术，只需会使用特定开发商提供的软件就可进行“云”操作。其基本功能结构如图