搭建基于云计算海量数据挖掘平台研究实现.docVIP

搭建基于云计算的开源海量数据挖掘平台 赵华茗 （中国科学院国家科学图书馆 北京 100190） 【摘要】本文通过分析亚马逊弹性MapReduce(EMR)平台构架，针对信息情报机构内部数据处理的迫切需求，提出通过开源技术XEN和Hadoop平台构建基于云计算的动态可伸缩的海量数据处理平台并给出了实施方案、海量文本数据处理案例和开源EMR平台的优势分析。实施方案主要分为三部分:一、搭建动态虚拟的云计算环境，二、安装制作HADOOP虚拟服务器模板，三、配置运行Cloudera和Cloudera Desktop。通过开源EMR架构的应用，可以效解决服务器蔓延问题，提高网络计算资源的利用效率和分布式数据挖掘服务的快速布署能力及灵活性。 【关键词】云计算;海量数据挖掘;虚拟技术;分布式计算;xen;Cloudera;Hadoop; 【分类号】TP393 Building the Open Source Mass Data Mining Platform Based on Cloud Computing Zhao Huaming （National Science Library，Chinese Academy of Sciences，Beijing 100190，China） 【Abstract】Aims to internal data processing needs of information organizations, this paper, by analyzing the frameworks of Amazon elastic map/reduce (EMR) platform, puts forward to build the dynamic and elastic open source mass data mining platform based on Cloud Computing, and provides a roadmap of successful implementation, an example of massive text data processing and the analysis of advantage of open source EMR platform. This implementation plan includes three parts: 1.building dynamic virtual environment of cloud computing; 2.creating the virtual server template of HADOOP; 3.deploying and running Cloudera and Cloudera Desktop. Through the application of the open source EMR platform, we can solve the problem of server sprawl effectively to improve utilization ratio of network computing resource and to enhance the rapid deployment capability and agility of distributed data processing services. 【Keywords】每年以60%的速度在上升，意味着每18个月数据将被Elastic MapReduce，EMR） [2,3]， 整体架构图如图1所示。EMR框架分为三部分，控制接口（AWS Console）、存储服务（Amazon Simple Storage Service，S3）和弹性计算（Amazon Elastic Compute Cloud，EC2）。通过EMR平台，企业、研究人员、数据分析师可以花费较少的费用轻松处理大数据集而不用担心计算设备问题。显而易见，随着数据宇宙时代的到来，这种新的动态可伸缩的数据处理模式必将在信息技术领域扮演越来越重要的角色。本文在云计算开源框架下给出如何搭建信息分析机构自己的弹性的海量数据挖掘平台解决方案并给出了实施步骤。 图1 亚马逊EMR整体构架图[2] 2 云计算开源框架Cloudera和XENServer 在可信计算尚不成熟的时侯，通过开源技术实现随需弹性处理机构内部数据是机构信息人员搭建机构内部的EMR框架的出发点。分析上述亚马逊EMR服务框架，不难看出动态可伸缩的大数据集计算模式主要要解决两个关键问题：一是动态布署虚拟HADOOP节点服务器，二是在节点服务器间快速配置搭建HADOOP分布式环境。考察目前已有较成熟的开源技