《googl》.pdf

《电信交换)2010年 第2期 ●现状与发展 Google云计算平台的技术架构 及对其成本的影响研究 孙 健 贾晓菁 (1．中国移动通信集团公司 北京 100032；2．中央财经大学 jE京 100081) 摘 要：本文通过Google云计算平台与传统rI系统技术架构的对比研究，指出 Google云计算平台能够实现极低的计算成本的关键在于采用了“自顶向下”的设计思想。 关键词 ：云计算 成本 技术架构 一 I士 、 了J百 毫无疑问，云计算是2009年rr行业最热门的话题，Google、Amazon、Yahoo等互联网 服务商，IBM、Microsoft等 IT厂商都纷纷提出了自己的云计算战略，各电信运营商也对云 计算投入了极大的关注，云计算平台极低的成本成为业界关注的焦点。Google宣称，由于 使用了云计算技术，其计算成本仅为竞争对手的1／100，存储成本仅为竞争对手的1／30。 如果事实真的如此，那么Google究竟是怎么做到的呢? 为了满足运营管理的需要，电信运营商建设了许多大规模的IT系统，如中国移动建设 了业务支撑系统、网络管理系统和管理信息系统等，这些 I1r系统一般都是建立在高性能 UNIX服务器集群的基础上，与建立在大量的廉价x86服务器集群基础上的Google云计算平 台相比，两者在技术架构等方面存在明显的差异。本文试图在深入分析Google云计算平台 关键技术的基础上，通过Google云计算平台和传统IT系统的对比研究，寻找出Google云计 算平台极低的计算成本和存储成本的根本原因。 二、Google云计算平台的关键技术 “云计算”的概念是Google公司首先提出的，其拥有一套专属的云计算平台，这个平台 先是为网页搜索应用提供服务，现在已经扩展到其他应用程序。 作为一种新型的计算方式，Google云计算平台包含了许多独特的技术，如数据中心节 能技术、节点互联技术、可用性技术、容错性技术、数据存储技术、数据管理技术、数据 切分技术、任务调度技术、编程模型、负载均衡技术、并行计算技术和系统监控技术等。 Google云计算平台是建立在大量的x86服务器集群上的，Node是最基本的处理单元， 其总体技术架构如图1所示。 在Google云计算平台的技术架构中，除了少量负责特定管理功能的节点(如 GFSmas． ter、Chubby和Scheduler等)，所有的节点都是同构的，即同时运行 BigThaleServer、GFS chunkserver和MapReduceJob等核心功能模块，与之相对应的则是数据存储、数据管理和编 一 l2 一 孙健，贾晓菁：Google云计算平台的技术架构及对其成本的影响研究 程模型等3项关键技术，因此本文将重点对它们进行研究。 图1 Google云计算平台的技术架构 1．数据存储技术 网页搜索业务需要海量的数据存储，同时还需要满足高可用性、高可靠性和经济性等 要求。为此，Goosle基于以下几个假设开发了分布式文件系统——GF’S(googlefilesystem)。 (1)硬件故障是常态 系统平台是建立在大量廉价的、消费级的IT部件之上，系统必 须时刻进行 自我监控、节点检测和容错处理，能够从部件级的错误中快速恢复是一个基本 的要求 。 (2)支持大数据集 系统平台需要支持海量大文件的存储，可能包括几百万个 100MB 以上的文件，GB级别的文件也是常见的。与此同时，小文件也能够支持，但将不进行专门 的优化。 (3)一次写入、多次读取的处理模式 Google需要支持对文件进行大量的批量数据写入 操作，并且是追加方式(append)的，即写入操作结束后文件就几乎不会被修改了。与此同 时，随机写人的方式可以支持，但将不进行专门的优化。 (4)高并发性 系统平台需要支持多个客户端同时对某一个文件的追加写入操作，这些 客户端可能分布在几百个不同的节点上，同时需要以最小的开销保证写入操作的原子性。 GFS由一个master和大量块服务器构成，如图2所示。master存放文件系统的所有元数 据，