基于MapReduce编程模型的分布式并行计算系统的-中国科技论文在线.PDFVIP

中国科技论文在线 基于MapReduce 编程模型的分布式并行计 算系统的设计和实现 何皓星，李昕** 5 （北京邮电大学网络与交换技术国家重点实验室，北京，100876 ） 摘要：大数据处理技术对互联网应用本身和企业都具有非常重大的意义。随着互联网业务数 量的快速增长，系统中积累的数据也越来越多。如何快速地处理日益增长的数据，降低数据 处理所消耗的计算资源与时间成本，已称为一个业界非常关注的问题。本文基于现有的 10 MapReduce 编程模型，实现了一条易于理解且高效稳定的分布式并行计算系统。 关键词：计算机系统结构；MapReduce 编程模型；分布式计算技术 中图分类号：TPP311.1 Design and Implementation of Distributed Parallel 15 Computing System Based on MapReduce Programming Model HE Haoxing, LI Xin (State Key Laboratory Of Networking And Switching Technology, Beijing University of Posts and Telecommunications, Beijing, 100876) 20 Abstract: Big data processing technology is of great significance to both the Internet application itself and the enterprise. With the rapid growth of the number of Internet services, more and more data is accumulated in the system. How to quickly process the growing data and reduce the computational resources and time cost of data processing has become a very important issue in the industry. Based on the existing MapReduce programming model, this paper implements a set of distributed parallel 25 computing system that is easy to understand, efficient and stable. Keywords: computer architecture; MapReduce programming model; distributed computing technology 0 引言 近年来，随着互联网技术飞速发展，互联网给人们生活带来了越来越多的便携，改变了 30 人们的生活方式，人们对互联网的依赖越来越强，这也导致了互联网业务呈指数级别的增长。 在用户使用大量互联网业务的同时，互联网内用户行为数据也快速增长。为了高效利用互联 网中大规模的数据，通过为用户提供定制化的服务，以提高用户的业务体验质量，也要求了 系统就被快速处理大规模数据的能力。为了达到这个要求，可以基于现有的MapReduce 编 程框架，设计一种高效且易于理解的大规模数据的分布式并行计算系统。具备处理大数据量 35 能力的高效分布式并行计算系统