Hadoop的发展历史PPT课件.pptxVIP

Hadoop的发展历史

1、了解Hadoop的发展历史

Hadoop的发展历史2004年—最初的版本(现在称为HDFS和MapReduce)由DougCutting和MikeCafarella开始实施。2005年12月—Nutch移植到新的框架，Hadoop在20个节点上稳定运行。2006年1月—DougCutting加入雅虎。2006年2月—ApacheHadoop项目正式启动以支持MapReduce和HDFS的独立发展。2006年2月—雅虎的网格计算团队采用Hadoop。2006年4月—标准排序(10GB每个节点)在188个节点上运行47.9个小时。

Hadoop的发展历史2006年5月—雅虎建立了一个300个节点的Hadoop研究集群。2006年5月—标准排序在500个节点上运行42个小时(硬件配置比4月的更好)。2006年11月—研究集群增加到600个节点。2006年12月—标准排序在20个节点上运行1.8个小时，100个节点3.3小时，500个节点5.2小时，900个节点7.8个小时。2007年1月—研究集群到达900个节点。2007年4月—研究集群达到两个1000个节点的集群。

Hadoop的发展历史2008年4月—赢得世界最快1TB数据排序在900个节点上用时209秒。2008年7月—雅虎测试节点增加到4000个2008年9月—Hive成为Hadoop的子项目2008年11月—Google宣布其MapReduce用68秒对1TB的程序进行排序2008年10月—研究集群每天装载10TB的数据。2008年—淘宝开始投入研究基于Hadoop的系统–云梯。云梯总容量约9.3PB，共有1100台机器，每天处理18000道作业，扫描500TB数据。

Hadoop的发展历史2009年3月—17个集群总共24000台机器。2009年3月—Cloudera推出CDH（Cloudera’sDsitributionIncludingApacheHadoop）2009年4月—赢得每分钟排序，雅虎59秒内排序500GB(在1400个节点上)和173分钟内排序100TB数据(在3400个节点上)。2009年5月—Yahoo的团队使用Hadoop对1TB的数据进行排序只花了62秒时间。2009年7月—HadoopCore项目更名为HadoopCommon;2009年7月—MapReduce和HadoopDistributedFileSystem(HDFS)成为Hadoop项目的独立子项目。

Hadoop的发展历史2009年7月—Avro和Chukwa成为Hadoop新的子项目。2009年9月—亚联BI团队开始跟踪研究Hadoop2009年12月—亚联提出橘云战略，开始研究Hadoop2010年5月—Avro脱离Hadoop项目，成为Apache顶级项目。2010年5月—HBase脱离Hadoop项目，成为Apache顶级项目。2010年5月—IBM提供了基于Hadoop的大数据分析软件——InfoSphereBigInsights，包括基础版和企业版。

Hadoop的发展历史2010年9月—Hive(Facebook)脱离Hadoop，成为Apache顶级项目。2010年9月—Pig脱离Hadoop，成为Apache顶级项目。2011年1月—ZooKeeper脱离Hadoop，成为Apache顶级项目。2011年3月—ApacheHadoop获得MediaGuardianInnovationAwards。2011年3月—PlatformComputing宣布在它的Symphony软件中支持HadoopMapReduceAPI。2011年5月—MaprTechnologies公司推出分布式文件系统和MapReduce引擎——MapRDistributionforApacheHadoop。

Hadoop的发展历史2011年4月—SGI(SiliconGraphicsInternational)基于SGIRackable和CloudRack服务器产品线提供Hadoop优化的解决方案。2011年5月—HCatalog1.0发布。该项目由Hortonworks在2010年3月份提出，HCatalog主要用于解决数据存储、元数据的问题，主要解决HDFS的瓶颈，它提供了一个地方来存储数据的状态信息，这使得数据清理和归档工具可以很容易的进行处理。2011年5月—EMC为客户推出一种新的基于开源Hadoop解决方案的数据中心设备——GreenPlumHD，以助其满足客户日益增长的数