分布式计算系统 课件 Chapter-2 Hadoop文件系统.pptx

第二章 Hadoop文件系统 Hadoop发展简史2Hadoop源于Lucene（Nutch）Apache Lucene项目：Doug Cutting开发的文本搜索库2002年，Apache Nutch开源一个网络搜索引擎Lucene项目的一部分 Hadoop发展简史3借鉴谷歌论文中的思想2003年，谷歌发表GFS论文2004年，Nutch项目也模仿GFS开发了自己的分布式文件系统NDFS（Nutch Distributed File System），也就是HDFS的前身2004年，谷歌公司发表MapReduce论文2005年，Nutch开源实现了谷歌的MapReduceGhemawat, S., Gobioff, H., Leung, S.-T. (2003). The Google File System. In SOSP (pp. 29–43).Dean, J., Ghemawat, S. (2004). MapReduce : Simplified Data Processing on Large Clusters. In OSDI (pp. 137–149). Hadoop发展简史4Hadoop的诞生2006年2月，Nutch中的NDFS和MapReduce开始独立出来，成为Lucene项目的一个子项目，称为Hadoop。同时，Doug Cutting加盟雅虎20