云计算的三架马车_Google_亚马逊与IBM.pdfVIP

计算机世界/2008 年/5 月/12 日/第038 版 新知 云计算的三架马车:Google、亚马逊和IBM 清华大学 陈康 　郑纬民 云计算作为一种新型的计算模式，还处于早期发展阶段。众多大小不一、类型各异的提供商 提供了各自基于云计算的应用服务。本文通过介绍亚马逊、Google、IBM 这三种典型的云计算实 现，为读者剖析在“云计算”背后所采用的具体技术，解析当前云计算的平台建设方法以及应用 构建方式。 实例1: Google 的云计算平台与应用 Google 的云计算技术实际上是针对Google 特定的网络应用程序而定制的。针对内部网络数 据规模超大的特点，Google 提出了一整套基于分布式并行集群方式的基础架构，利用软件的能力 来处理集群中经常发生的节点失效问题。 从2003 年开始，Google 连续几年在计算机系统研究领域的最顶级会议与杂志上发表论文， 揭示其内部的分布式数据处理方法，向外界展示其使用的云计算核心技术。从其近几年发表的论 文来看，Google 使用的云计算基础架构模式包括四个相互独立又紧密结合在一起的系统。包括 Google 建立在集群之上的文件系统 Google File System ，针对 Google 应用程序的特点提出的 Map/Reduce 编程模式，分布式的锁机制Chubby 以及Google 开发的模型简化的大规模分布式数 据库BigTable 。 Google File System 文件系统 为了满足Google 迅速增长的数据处理需求，Google 设计并实现了Google 文件系统（GFS ， Google File System ）。GFS 与过去的分布式文件系统拥有许多相同的目标，例如性能、可伸缩性、 可靠性以及可用性。然而，它的设计还受到 Google 应用负载和技术环境的影响。主要体现在以 下四个方面: 1. 集群中的节点失效是一种常态，而不是一种异常。由于参与运算与处理的节点数目非常庞 大，通常会使用上千个节点进行共同计算，因此，每时每刻总会有节点处在失效状态。需要通过 软件程序模块，监视系统的动态运行状况，侦测错误，并且将容错以及自动恢复系统集成在系统 中。 2. Google 系统中的文件大小与通常文件系统中的文件大小概念不一样，文件大小通常以G 字 节计。另外文件系统中的文件含义与通常文件不同，一个大文件可能包含大量数目的通常意义上 的小文件。所以，设计预期和参数，例如I/O 操作和块尺寸都要重新考虑。 3. Google 文件系统中的文件读写模式和传统的文件系统不同。在Google 应用（如搜索）中 对大部分文件的修改，不是覆盖原有数据，而是在文件尾追加新数据。对文件的随机写是几乎不 存在的。对于这类巨大文件的访问模式，客户端对数据块缓存失去了意义，追加操作成为性能优 化和原子性（把一个事务看做是一个程序。它要么被完整地执行，要么完全不执行）保证的焦点。 4. 文件系统的某些具体操作不再透明，而且需要应用程序的协助完成，应用程序和文件系统 API 的协同设计提高了整个系统的灵活性。例如，放松了对GFS 一致性模型的要求，这样不用加 重应用程序的负担，就大大简化了文件系统的设计。还引入了原子性的追加操作，这样多个客户 端同时进行追加的时候，就不需要额外的同步操作了。 总之，GFS 是为Google 应用程序本身而设计的。据称，Google 已经部署了许多GFS 集群。 有的集群拥有超过1000 个存储节点，超过300T 的硬盘空间，被不同机器上的数百个客户端连续 第1 页 共8 页 不断地频繁访问着。 图1 给出了Google File System 的系统架构，一个GFS 集群包含一个主服务器和多个块服务 器，被多个客户端访问。文件被分割成固定尺寸的块。在每个块创建的时候，服务器分配给它一 个不变的、全球惟一的64 位块句柄对它进行标识。块服务器把块作为linux 文件保存在本地硬盘 上，并根据指定的块句柄和字节范围来读写块数据。为了保证可靠性，每个块都会复制到多个块 服务器上，缺省保存三个备份。主服务器管理文件系统所有的元数据，包括名字空间、访问控制 信息和文件到块的映射信息，以及块