搭建基于云计算的海量数据挖掘平台研究实现-中国科学院国家科学图书馆.doc

搭建基于云计算的开源海量数据挖掘平台 赵华茗 （中国科学院国家科学图书馆 北京 100190） 【摘要】本文通过分析亚马逊弹性MapReduce(EMR)平台构架，针对信息情报机构内部数据处理的迫切需求，提出通过开源技术XEN和Hadoop平台构建基于云计算的动态可伸缩的海量数据处理平台并给出了实施方案、海量文本数据处理案例和开源EMR平台的优势分析。实施方案主要分为三部分:一、搭建动态虚拟的云计算环境，二、安装制作HADOOP虚拟服务器模板，三、配置运行Cloudera和Cloudera Desktop。通过开源EMR架构的应用，可以效解决服务器蔓延问题，提高网络计算资源的利用效率和分布式数据挖掘服务的快速布署能力及灵活性。 【关键词】云计算;海量数据挖掘;虚拟技术;分布式计算;xen;Cloudera;Hadoop; 【分类号】TP393 Building the Open Source Mass Data Mining Platform Based on Cloud Computing Zhao Huaming （National Science Library，Chinese Academy of Sciences，Beijing 100190，China） 【Abstract】Aims to meet the internal data processing needs of information organizations, this paper, by analyzing the frameworks of Amazon elastic map/reduce (EMR) platform, puts forward to build the dynamic and elastic open source mass data mining platform based on Cloud Computing, and provides a roadmap of successful implementation, an example of massive text data processing and the analysis of advantage of open source EMR platform. This implementation plan includes three parts: 1.building dynamic virtual environment of cloud computing; 2.creating the virtual server template of HADOOP; 3.deploying and running Cloudera and Cloudera Desktop. Through the application of the open source EMR platform, we can solve the problem of server sprawl effectively to improve utilization ratio of network computing resource and to enhance the rapid deployment capability and agility of distributed data processing services. 【Keywords】cloud computing; mass data mining; virtualization; distributed computing; xen; Cloudera; Hadoop 1 引言 互联网促进了信息流通，也带来了信息的爆炸式增长，最新的IDC的研究报告指出2010年全球信息量将进入ZB时代，并且每年以60%的速度在上升，这意味着每18个月全球信息数据量将被翻倍[1]。面对不断拓展的惊人的数据规模，海量信息的存储与管理、实时处理、数据搜索、数据挖掘与智能应用等等信息处理能力面临新的挑战，信息技术架构迫切需要以动态可伸缩为特点的支持海量数据处理的新的存储计算模式的支持。 云计算因为其弹性可伸缩的计算模式，受到以IBM、亚马逊、谷歌等为代表的众多高科技公司的重视，成为各公司应对海量信息处理的利器。近年来，出现了众多各具特色的云计算应用产品，包括应用在服务托管领域的亚马逊弹性云，著名的谷歌搜索，ZOHO在线办公应用等等。而应用在海量数据存储挖掘领域的典型云计算应用也出自于亚马逊公司，即亚马逊的HADOOP架构服务，亚马逊称其为弹性MR（Elastic MapReduce，EMR） [2,3]， 整体架构图如图1所示。EMR