云计算的关键技术及系统实例的实现.docVIP

云计算的关键技术及系统实例的实现 　　摘要：云计算是一种新兴的计算模式，它是在网格计算的基础上发展而来的。介绍了云计算的关键技术，设计并实现了自己的云计算系统ClouSys，它具备了云计算的一些基本特点如计算和存储的整合、计算向存储迁移、文件的分布式存储、计算的并行化等。 　　关键词：云计算；并行计算；分布式；GFS MapReduce 　　中图分类号：TP301.6 文献标识码：A文章编号：1009-3044(2011)26-6344-02 　　自2006年被Google提出之后，云计算的概念就在ICT产业界产生了巨大反响。云计算是一种全新的领先信息技术，结合IT技术和互联网实现超级计算和存储能力，它的目标是要像供水、供电、金融系统一样，把“计算力”作为一种公用基础设施、组织大规模的信息和计算资源，面向用户提供便捷、全面的公众服务，满足个人和社会信息服务的需要。是分布式计算（Distributed Computing）、并行计算（Parallel Computing）、网格计算（Grid Computing）、效用计算（Utility Computing）和虚拟化（Virtualization）等传统计算机和网络技术发展融合的产物[1]。 　　目前，云计算有多种定义，还没有统一的标准。美国国家标准和技术研究所颁布的最新版《NIST云计算工作定义》[2]试行稿定义云计算为：用户可以方便的、按需通过网络访问共享资源池（网络、服务器、存储、应用和服务等），具有快速部署，最小的管理代价或最少的服务提供商干预的一种新型IT基础运行模式。NIST给出云计算以下描述： 　　1）五个关键特征：按需自服务、宽带接入、虚拟化的资源“池”、快速弹性架构和可测量的服务。 　　2）三个服务模型：云软件作为服务（SaaS）、云平台作为服务（PaaS）、云基础设施作为服务（IaaS）。 　　3）四个部署模型：公有云、私有云、社区云和混合云。 　　云计算已经成为未来发展的重要趋势之一，是业界中的热点名词和技术，吸引了不同技术领域巨头，IBM、微软、Google、Amazon等信息巨头都已经参与到云计算研究和开发中。这些业界巨头依托已有的技术优势，架构不同的云计算平台，因此，对云计算关键技术的研究有助于云计算理论及实现架构标准的统一。同时，开发自己的云计算系统，能更清楚地剖析云计算的各项关键技术，如计算和存储的整合、计算向存储迁移、文件的分布式存储、计算的并行化等。 　　1 云计算的关键技术 　　云计算是一种新型的计算模式，它在数据存储、编程模型、数据管理等方面都有自己的技术特点，下面对云计算的关键技术着重描述。 　　1.1 数据存储技术 　　云计算数据存储技术的典型代表有谷歌的GFS和Hadoop的HDFS，HDFS的原型来自于GFS。为了满足Google迅速增长的数据处理要求，在对自己应用的负载情况和技术环境分析的基础上，Google设计并实现了Google文件系统（GFS）。Google文件系统是一个可扩展的、面向大规模数据密集型应用的的分布式文件系统，具有可伸缩性。GFS运行在廉价的普通硬件设备上，是一种面向不可信服务器节点而设计的文件系统，但是它对节点失效有很好的应对措施。提供了灾难冗余的能力，可以给大量的用户提供总体性能较高的服务。 　　一个GFS集群主要由一个Master节点和众多chunkserver（大块设备）构成，同时能被多个客户端访问，所有的服务器节点都是普通的Linux机器。 　　Master节点管理文件系统元数据，包括名字空间、访问控制信息、文件和Chunk的映射信息、以及当前Chunk的位置信息。同时，它还监控着Chunk在Chunk服务器之间的迁移，并使用心跳信息周期地和每个Chunk服务器通讯，发送指令到各个Chunk服务器，接收Chunk服务器的状态信息。 　　GFS存储的文件被分割成固定大小的64k文件块。创建文件块的时候，Master服务器会给每个文件块分配一个全球唯一的、不变的64位的Chunk标识。Chunk服务器以Linux文件的形式保存文件块到本地硬盘上，并根据指定的Chunk标识和字节范围读写数据块。为了保证数据的安全性，每个块都会复制到多个数据块服务器上。 　　1.2 编程模型 　　Google作为云计算概念的提出者选择了MapReduce作为其处理海量数据的架构，Hadoop的跟进更使MapReduce深入人心。MapReduce是一个编程模型，可以处理和生成超大规模的数据集。MapReduce架构的程序能够在大量的普通配置的计算机上实现并行化处理。 　　MapReduce编程模型的原理是：利用一个输入Key/value对集合产生一个输出key/value对集合。Map