大数据知识体系型公开课大数据概念技术与应用-厦门大学数据库.PDF

大数据知识体系型公开课 《大数据概念、技术与应用》 第2讲大数据处理架构Hadoop 林子雨 博士/助理教授 厦门大学计算机科学系 厦门大学云计算与大数据研究中心 E-mail: ziyulin@ 主页：/linziyu 《大数据处理架构厦门大学云计算与大数据研究中心Hadoop》 厦门大学云计算与大数据研究中心 林子雨 2015年版ziyulin@ 提纲 • 2.1 概述 • 2.2 Hadoop项目结构 欢迎访问 《大数据技术原理与应用》教材官方网站： /post/bigdata 《大数据处理架构Hadoop》 厦门大学云计算与大数据研究中心 林子雨 ziyulin@ 2.1 概述 • 2.1.1 Hadoop简介 • 2.1.2 Hadoop发展简史 • 2.1.3 Hadoop的特性 • 2.1.4 Hadoop的应用现状 《大数据处理架构Hadoop》 厦门大学云计算与大数据研究中心 林子雨 ziyulin@ 2.1.1 Hadoop简介 •Hadoop是Apache软件基金会旗下的一个开源分布式计算平台，为 用户提供了系统底层细节透明的分布式基础架构 •Hadoop是基于Java语言开发的，具有很好的跨平台特性，并且可以 部署在廉价的计算机集群中 •Hadoop的核心是分布式文件系统HDFS （Hadoop Distributed File System ）和MapReduce •Hadoop被公认为行业大数据标准开源软件，在分布式环境下提供了 海量数据的处理能力 •几乎所有主流厂商都围绕Hadoop提供开发工具、开源软件、商业化 工具和技术服务，如谷歌、雅虎、微软、思科、淘宝等，都支持 Hadoop 《大数据处理架构Hadoop》 厦门大学云计算与大数据研究中心 林子雨 ziyulin@ 2.1.2 Hadoop发展简史 Hadoop的标志 •Hadoop最初是由Apache Lucene项目的创始人Doug Cutting开发 的文本搜索库。Hadoop源自始于2002年的Apache Nutch项目—— 一个开源的网络搜索引擎并且也是Lucene项目的一部分 •在2004年，Nutch项目也模仿GFS开发了自己的分布式文件系统 NDFS （Nutch Distributed File System），也就是HDFS的前身 •2004年，谷歌公司又发表了另一篇具有深远影响的论文，阐述了 MapReduce分布式编程思想 •2005年，Nutch开源实现了谷歌的MapReduce 《大数据处理架构Hadoop》 厦门大学云计算与大数据研究中心 林子雨 ziyulin@ 2.1.2 Hadoop发展简史 •到了2006年2月，Nutch中的NDFS和MapReduce开始独立出来， 成为Lucene项目的一个子项目，称为Hadoop，同时，Doug Cutting加盟雅虎 •2008年1月，Hadoop正式成为Apache顶级项目，Hadoop也逐渐 开始被雅虎之外的其他公司使用 •2008年4月，Hadoop打破世界纪录，成为最快排序1TB数据的系 统，它采用一个由910个节点构成的集群进行运算，排序时间只用 了209秒 •在2009年5月，Hadoop更是把1T