大数据处理：Hadoop体系架构.pdfVIP

大数据处理 Hadoop体系架构 1 提纲  Hadoop发展历程  Hadoop的框架  Hadoop的核心组件  Hadoop的应用现状 2 Hadoop的由来 3 Hadoop发展历程 4 Hadoop发展历程  Hadoop起源于Apache Nutch ，Nutch项目开始于2002年，是一个开源 的网络搜索引擎，本身也是由Lucene项目的一部分。  2004年，Google发表了论文，向全世界介绍了MapReduce 。  2005年初，Nutch上有了一个可工作的MapReduce应用，当年，所有主 要的Nutch算法被移植到使用MapReduce和NDFS来运行。  2006年2月，他们从Nutch转移出来成为一个独立的Lucene子项目，成 为Hadoop 。  在2008年2月，雅虎宣布其搜索引擎产品部署在一个拥有1万个内核的 Hadoop集群上。  2008年7月，Hadoop打破世界纪录，成为最快排序1TB数据的系统。 运行在一个910节点的集群，Hadoop在209秒内排序了1TB的数据，击 败了前一年的297秒冠军。同年11月，谷歌报告它的MapReduce实现 执行1TB数据的排序只用了68秒。在2009年5月，有报道宣称Yahoo的 团队使用Hadoop对1TB的数据进行排序只花了62秒时间。 5 Hadoop技术族 6 基于Hadoop的大数据处理框架 7 Hadoop核心– 基础架构（HDFS+MR） 8 Hadoop核心– 运行机制 9 Hadoop数据存储– Why HBase ？  来源：Fay Chang, Jeffrey Dean, et. al., Bigtable: A Distributed Storage System for Structured Data, Seventh Symposium on Operating System Design and Implementation, 2006. Why HBase？ /book/architecture.html#arch.overview  HDFS is a distributed file system that is well suited for the storage of large files. Its documentation states that it is not, however, a general purpose file system, and does not provide fast individual record lookups in files.  HBase, on the other hand, is built on top of HDFS and provides fast record lookups (and updates) for large tables.  HBase internally puts your data in indexed StoreFiles that exist on HDFS for high-speed lookups. 10 Hadoop数据分析– Hive和Pig 11 Hadoop数据分析– Hive  来源：Ashish Thusoo, Joydeep Sen Sarma, et al., Facebook, “Hive: A Warehousing Solution over A Map- Reduce Framework”, Proceedings of the VLDB Endowment, Aug. 2009. Why Hive ？ （/）  Hive is a data warehouse system for Hadoop that facilitates easy data summarization, ad-hoc queries, and the analysis of large datasets stored