TheGoogleFileSystem中文.pdfVIP

The Google File System  Sanjay Ghemawat, Howard Gobioff, and Shun-Tak Leung  Google  {sanjay,hgobioff,shuntak}@  Copyright  Permission to make digital or hard copies of all or part of this work for personal or classroom use is  granted without fee provided that copies are not made or distributed for profit or commercial  advantage and that copies bear this notice and the full citation on the first page. To copy otherwise,  to republish, to post on servers or to redistribute to lists, requires prior specific permission and/or a  fee.  SOSP’03, October 19–22, 2003, Bolton Landing, New York, USA.  Copyright 2003 ACM 1-58113-757-5/03/0010 ...$5.00.  摘要  我们已经设计和实现了Google File System ，一个适用于大规模分布式数据处理相关应用的 ，可扩展的分布  式文件系统。它基于普通的不算昂贵的硬件设备 ，实现了容错的设计 ，并且为大量客户端提供极高的聚合处理  性能。  我们的设计目标和上一个版本的分布式文件系统有很多相同的地方 ， 我们的设计是依据我们应用的工作量以及  技术环境来设计的 ，包括现在和预期的 ，都有一部分和早先的文件系统的约定有所不同。这就要求我们重新审  视传统的设计选择 ，以及探索究极的设计要点。  这个文件系统正好与我们的存储要求相匹配。 这个文件系统在Google 内部广泛应用于作为存储平台使用 ， 适  用于我们的服务要求产生和处理数据应用 ， 以及我们的研发要求的海量数据的要求。 最大的集群通过上千个计  算机的数千个硬盘 ，提供了数百TB的存储 ，并且这些数据被数百个客户端并行同时操作。  在这个论文里 ，我们展示了用于支持分布式应用的扩展文件系统接口设计 ，讨论了许多我们设计的方面 ，并且  列出了我们的micro-benchmarks以及真实应用性能指标。  分类和主题描述  D[4]  ：3– 分布式文件系统 l 第 1 页  普通条目  设计 ，可靠性 ，性能 ，测量  Design ，reliability ，performance ，measurement  关键词  容错 ，扩展性 ，数据存储 ，集群数据存储  1 介绍  我们已经为Google迅速增长的数据处理需要而设计和实现了Google File System(GFS)。GFS和上一个分  布式文件系统有着很多相同的设计目标 ，比如性能 ，扩展性 ，可靠性 ，以及可用性。不过 ，他的设计是基于我  们应用的工作量和技术环境驱动的 ，包括现在和预期的 ，都有部分和上一个版本的约定有点不同。这就要求我  们重新审视传统的设计选择 ，以及探索究极的设计要点。  首先 ，节点失效将被看成是正常情况 ，而不再视为异常情况。整个文件系统包含了几百个或者几千个由廉价的  普通机器组成的存储机器 ， 而且这些机器是被与之匹配数量的客户端机器访问。 这些节点的质量和数量都实际  上都确定了在任意给定时间上 ，一定有一些会处于失效状态 ，并且某一些并不会从当前失效中恢复回来。这有  可能由于程序的bug ，操作系统的bug ，人工操作的失误 ，以及硬盘坏掉 ，内存 ，网络 ，插板的损坏 ，电源  的坏掉等等。因此 ，持续监视 ，错误检测 ，容错处理 ，自动恢复必须集成到这个文件系统的设计中来。  其次 ，按照传统标准来看 ，文件都是非常巨大的。数个GB的文件是常事。每一个文件都包含了很多应用程序  对象 ，比如web文档等等。当我们通常操作迅速增长的 ，由很多TB组成的 ，包含数十亿对象的数据集