云计算环境下大规模数据处理的研究与初步实现.pdfVIP

204 20 11 4 总第 期 年 第 期 云计算环境下大规模数据处理的研究与 初步实现* 1 2 1 张兴旺 李晨晖 秦晓珠 1 ( 54 1004) 桂林理工大学图书馆 桂林 2 ( 54 1004) 桂林理工大学现代教育技术中心 桂林 【 】 ， 摘要 将云计算技术引入到大规模数据处理过程中 提出在集中或分布管理的大量廉价计算机集群上构建动态 、 、 、 ， 。 的 可扩展的 高性价比的 易使用的高性能计算平台 创建一种基于云计算的大规模数据处理的框架模型 论述 ， ， 在这一环境下的大规模数据处理的方法和应用 通过搭建相应的计算平台 验证计算机集群及框架模型的可 行性。 【 】 Hadoop MapReduce 关键词 云计算 大规模数据 廉价计算平台 【 】TP393 分类号 Research and Initial Implementation of Large － scale Data Processing Based on Cloud Computing Zhang Xingwang1 Li Chenhui2 Qin Xiaozhu1 1 (Guilin University of Technology Library ，Guilin 54 1004 ，China) 2 (Modern Education Technology Center ，Guilin University of Technology ，Guilin 54 1004 ，China) 【Abstract 】This paper introduces a large － scale data processing method based on cloud computing ，builds a dynamic ， scalable ，cost － effective ，easy to use and high － performance computing platform on a large of centralized or distributed inexpensive computer cluster ，and creates a cloud computing － based framework for large － scale data processing model． It also discusses the methods and applications in this large － scale data processing environment． The computing platform is set up to verify the computing cluster and the feasibility of this model． 【Keywords 】Cloud computing Large － scale data Low － cost computing platform Hadoop MapReduce 1 引 言 ， 、 、