Hadoop发展历史发展历程.pptx

大数据计算平台《大数据导论》课程Introduction to big data Hadoop发展历史（2）Hadoop的发展历程02 2Hadoop的发展历程 2Hadoop的发展历程2002年Nutch项目开始于2002年，当时互联网第一轮泡沫刚刚结束。2004年谷歌又发表了论文“MapReduce：Simplified Data Processing on Large Clusters”，向全世界介绍他们的MapReduce框架。2003年Google发表的论文“The Google File System”2005年Nutch的开发人员在Nutch上实现了一个MapReduce算法，半年左右的时间，Nutch的所有主要算法均完成移植，用MapReduce和NDFS来运行。 2Hadoop的发展历程2007年纽约时报在100个亚马逊的虚拟机服务器上使用Hadoop转换了4TB的图片数据，更加深了人们对Hadoop的印象。2008年Yahoo将Hadoop团队独立出来，成立了一个子公司Hortonworks，专门提供Hadoop相关的服务。2006年Doug Cutting在经过一系列周密考虑和详细总结后，决定加入优秀的公司进一步完善Nutch的性能。2011年 2008年1月，Hadoop已经成为Apache的顶级项目。 2008年4月，Hadoop打破世界纪录，成为最快的TB级数据排序系统。 2Hadoop的发展历程2012年Hortonworks在Hadoop发展上推出了与原框架有很大不同的YARN框架的第一版本，从此对Hadoop的研究又迈进一个新的层面。2014年Hadoop 2.x的更新速度非常快，从2.3.0到2.6.0，极大地完善了YARN框架和整个集群的功能。很多Hadoop的研发公司如Cloudera、Hortonworks都与其他企业合作共同开发Hadoop新功能。2013年大型IT公司，如EMC、Microsoft、Intel、Teradata、Cisco都明显增加了Hadoop方面的投入，Hortonworks宣传要100%开源软件，Hadoop2.0转型基本上无可阻挡。2015-2016年 2015年，在Hadoop创新阶段走向错误道路的供应商逐步退出，与其他Hadoop版本发行企业整合，数据的实时访问处理是一个关注的重点。 2016年，Hadoop及其生态圈（包括Spark等）在各行各业落地并且得到广泛的应用，YARN将持续发展以支持更多应用。 总结summaryHadoop发展历史（2）Hadoop的发展历程02 谢谢观看数大义之方， 论万物之据 。受益终身!