GoogleMapReduce研究综述.pdfVIP

MapReduce综述 暨南大学信息科技学院07级研究生 周敏 January 3, 2008 摘摘摘 要要要 MapReduce是 由Google公 司发 明 ，近 些年 新 兴 的分 布 式计 算模 型 。作为Google公司的核心技术 ，MapReduce在处理T级别 以上巨量 数据 的业务上有 着 明显的优势 。 本 文从分布式计算 的历史背景开 始 ，论述了MapReduce的灵感源泉及基本原理 。 Google公司 的MapReduce实现是该公司 的保密技术 ，而来 自开源 社 区Apache的Hadoop项 目则是此思想 的java克隆版本 。 最近几个月 里 ，Stanford大学提 出的Phoenix项 目将MapReduce应用于共享存储 结构 的硬件平 台上 ，取得了一定的成果 。本文将重点论述 ，此三者在 实现上的关键技术区别 。 目目目 录录录 1 分分分布布布式式式计计计算算算概概概述述述 1 1.1 摩尔定律和免费的午餐 . . . . . . . . . . . . . . . . . . . . . . 1 1.2 串行与并行编程 . . . . . . . . . . . . . . . . . . . . . . . . . . 2 1.3 并行基本概念 . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 2 MapReduce基基基本本本原原原理理理介介介绍绍绍 5 2.1 计算单词数WordCount . . . . . . . . . . . . . . . . . . . . . . 6 2.2 类型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 2.3 其它实例 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 3 MapReduce实实实现现现 8 3.1 Google的MapReduce实现 . . . . . . . . . . . . . . . . . . . . 8 3.1.1 执行方式 . . . . . . . . . . . . . . . . . . . . . . . . . 8 3.1.2 Master的数据结构 . . . . . . . . . . . . . . . . . . . . 9 1 3.1.3 容错 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10 3.1.4 存储位置 . . . . . . . . . . . . . . . . . . . . . . . . . 11 3.1.5 任务粒度