基于MapReduce的并行编程研究—习荣华.pptVIP

指导教师：郝卫东老师 基于MapReduce的并行编程研究 班级：电信082 学生：习荣华 学号Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 提纲： 研究的背景与目的 论文框架和主要内容 相关概念：云计算和并行计算 论文成果 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 背景：随着信息技术的发展，网络产生的数据也呈指数增长，而传统的技术架构和仅靠单台计算机基于串行的方式越来越不适应当前海量数据处理的要求。因此要在一定的时间内以快速的处理速度来完成对数据的处理，MapReduce顺势而生。 目的：MapReduce 作为一个分布式并行编程模型，它用来有效地处理海量数据,不断地从中挖掘出有价值的信息。本文通过详细的介绍此模型，从而使我们可以有效的利用此模型来进行并行程序的编写。 研究的背景与目的 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 论文的框架和主要内容 第一章：本章的内容主要是介绍了关于课题的背景、研究的意义以及国内外发展的状况。 第二章：本章是对云计算的一个概述，其中详细的介绍了云计算的特点、云计算的服务分类以及云计算的关键技术 第三章：本章中通过与串行计算的对比引出并行计算的概念，并在并行计算的进程模型、体系结构以及编程模型等方面进行了全方位的阐述。 第四章：在本章中，通过其应用、特点及基本结构详细的介绍了Hadoop这个分布式计算平台，随后着重的介绍了两个子项目：分布式文件系统HDFS和分布式并行编程模型MapReduce。 第五章：通过安装Hadoop平台，在其上运行两个分布式应用程序：词频统计和全年最高气温。随后简单介绍Mahout及基于Mahout的k-means聚类例子。 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 云计算 云计算之定义： 云计算是指IT服务的交付和使用模式，是指通过网络以按需、易扩展的方式获得所需的资源（硬件、平台、软件）。 提供资源的网络被称为“云”。 “云”中的资源在使用者看来是可以无限扩展的，并且可以随时获取，按需使用，随时扩展，按使用付费。这种特性经常形容为像使用水、电一样使用IT基础设施。 什么是云计算？ Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 云计算特点 超大规模 虚拟化 高可靠性 通用性 高可扩展性 按需服务 极其廉价 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 云计算服务 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 云计算发展 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 并行计算 摩尔定律 集成电路芯片上所集成的电路的数目，每隔18个月就翻一番，同时性能也提升一倍 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 并行计算定义：简单的