.第3章Hadoop.PDFVIP

厦门大学计算机科学系研究生课程 《大数据技术基础》 第3 章Hadoop （2013年新版） 林子雨 厦门大学计算机科学系 E-mail: ziyulin@ 主页：/linziyu 《大数据技术基础》 厦门大学计算机科学系厦门大学计算机系 林子雨 ziyulin@2013年新版 2013年9月修订版 提纲 • Hadoop概述 • Hadoop发展简史 • Hadoop的功能与作用 • 为什么不用关系型数据库管理系统 • Hadoop优点 • Hadoop的应用现状和发展趋势 • Hadoop项目及其结构 • Hadoop的体系结构 • Hadoop与分布式开发 • Hadoop应用案例 • Hadoop平台上的海量数据排序 本讲义PPT存在配套教材，由林子雨通过大量 阅读、收集、整理各种资料后编写而成 下载配套教材请访问 《大数据技术基础》2013 班级网站：/node/423 《大数据技术基础》 厦门大学计算机系 林子雨 ziyulin@ 2013年9月修订版 Hadoop概述 Hadoop是一个开源的可运行于大规模集群上的分布式并行编程框架，它 实现了Map/Reduce 计算模型。借助于Hadoop，程序员可以轻松地编写分布 式并行程序，将其运行于计算机集群上，完成海量数据的计算。 《大数据技术基础》 厦门大学计算机系 林子雨 ziyulin@ 2013年9月修订版 Hadoop发展简史 • Hadoop起源于Apache Nutch，后者是一个开源的网络搜索引擎，本身也是由Lucene项目的 一部分。 • Nutch项目开始于2002年，一个可工作的抓取工具和搜索系统很快浮出水面。 • 2004年，Google发表了论文，向全世界介绍了MapReduce。 • 2005年初，Nutch的开发者在Nutch上有了一个可工作的MapReduce应用，到当年年中，所 有主要的Nutch算法被移植到使用MapReduce和NDFS来运行。 • Nutch中的NDFS和MapReduce实现的应用远不只是搜索领域。 • 在2006年2月，他们从Nutch转移出来成为一个独立的Lucene子项目，成为Hadoop。 • 在2008年2月，雅虎宣布其搜索引擎产品部署在一个拥有1万个内核的Hadoop集群上。 • 2008年4月，Hadoop打破世界纪录，成为最快排序1TB数据的系统。运行在一个910节点的 群集，Hadoop在209秒内排序了1TB的数据（还不到三分半钟），击败了前一年的297秒冠 军。同年11月，谷歌在报告中生成，它的MapReduce实现执行1TB数据的排序只用了68秒。 在2009年5月，有报道宣称Yahoo 的团队使用Hadoop对1TB的数据进行排序只花了62秒时间。 《大数据技术基础》 厦门大学计算机系 林子雨 ziyulin@ 2013年9月修订版 Hadoop大事记 2004年——最初的版本（现在称为HDFS和MapReduce）由Doug Cutting和Mike Cafarella开始 实施。 2005年12月——Nutch移植到新的框架，Hadoop在20个节点上稳定运行。 2006年1月——Doug Cutting加入雅虎。 2006年2月——Apache Hadoop项目正式启动以支持MapReduce和HDFS的独立发展。 2006年2月——雅虎的网络计算团队采用Hadoop。 2006年4月——标准排序（10GB每个节点）在188个节点上运行47.9个