云计算中的分布式文件系统.pdfVIP

2012年 第2期 命性技术 ：GFS、MapReduce和BigTable，即所谓的 代码 的全文检索引擎工具包。Lucene的目标是为软 Google三驾马车。Google提供了这3项技术的详细 件开发人员提供一个简单易用的工具包 ，以实现在 设计论文．给业界吹来了一阵凉爽的风 ，为大家勾勒 目标系统中进行全文检索的功能。2006年 3月 ， 出了分布式存储和计算的一个基本蓝图，从中已可 MapReduce和Nutch分布式文件系统(NDFS)分别 窥见其几分风韵。但终究还是 由于缺少一些实现的 被纳入到Hadoop项 目中。 代码和示例 ，色彩有些斑驳 ，缺少些感性认识。 吃水不忘挖井人 。Hadoop是Apache软件基金 2003年 1O月 ，Google在美国纽约召开的第 19 会 Lucene项 目创始人道 ·卡廷开发的。Hadoop不是 届ACM操作系统原理研讨会 (SOSP)上 ，发表 了论 缩写 ，它是一个虚构的名字 。道 ·卡廷如此解释 文((Google文件系统》，系统介绍了Google面向大 Hadoop的由来 ：“这个名字是我的孩子给一头吃饱 规模数据密集型应用的、可伸缩 的分布式文件系 了的棕黄色大象取的。我的命名标准就是简短 、容易 统——GFS。由于搜索引擎需要处理海量的数据 ．因 发音和拼写 ．没有太多的意义 ．并且不会被用于别 而 Google的两位创始人布林和佩奇在创业初期设 处。小孩子是这方面的高手。Google就是由小孩命 计了一套名为 B“igFiles”的文件系统 ，而 GFS分布 名的。”Google是英文单词 “Googol”按照通常的英 式文件系统则可以看作是 “BigFiles”的延续。 语拼法改写而来的，而 Googol则是 由美国数学家 2004年 12月 ，Google在美 国旧金山召开 的第 EdwardKasner九岁的侄子MiltonSirotta发明的。 6届操作系统设计与实现研讨会 (OSDI)上 ，发表 了 Nutch项 目始于2002年 ．一个可 以运行的网页 论文((MapReduce：超大集群的简单数据处理》，向全 爬取工具和搜索引擎系统很快 “浮出水面”。但后来 ， 世界介绍了MapReduce系统的编程模式、实现 、技 开发者认为这一架构的可扩展性不高 ，无法解决数 巧 、性能和经验。 十亿网页的搜索问题。Google公司发表的GFS论文 2006年 11月 ，Google在美 国西雅图召开 的第 帮了他们大忙。文中描述的Google产品架构可以解 7届操作系统设计与实现研讨会 (OSDI)上 ，发表了 决他们在 网页爬取和索引过程中产生的超大文件存 论文(BigTable：结构化数据 的分布式存储系统》，分 储需求 。更为重要的是 。GFS能够节省系统管理所 析了设计用于处理海量数据的分布式结构化数据存 花的大量时间。2004年 ，他们开始着手开发 GFS的 储系统 BigTable的工作原理。 一 个开源实现 ，即Nutch分布式文件系统 (NDFS)。 这 3篇重量级论文的发表，不仅使大家理解了 2004年 ．Google发表 了与 MapReduce有关 的 Google搜索引擎背后强大的技术支撑 。而且论文和 论文。2005年初 ，Nutch项 目开发人员在 Nutch上实 相关的开源技术极大地普及了云计算中非常核心的 现了一个 MapReduce系统。2005年年中．Nutch的 分布式技术。随后，克隆这 3项技术的开源产品如雨 所有主要算法均完成移植 ，可 以用 MapReduce和 后春笋般涌现 ，Hadoop就是其中的一个 。 NDFS来运行 ，从而成为非常优秀的分布式系统