浅谈云计算技术_分布式.pdf

浅谈云计算技术_分布式

浅谈云计算技术_分布式

引言云计算(CloudComputing)是一种基于互

联网的超级计算模式。它是分布式计算、并行计算和网格计算的进展。

其基本原理为:利用非本地或远程服务器(集群)的分布式计算机为互

联网用户供应服务(计算、存储、软硬件等服务)。云是一种思想，一

种大规模资源整合的思想，是IT界进展的必定趋势。云计算是一种

新型的超级计算方式，以数据为中心，是一种数据密集型的超级运算，

在数据存储、数据管理、云计算平台管理等多方面具有自身独特的技

术。

1、云计算的定义

云计算是从分布式处理(DistributedComputing)、并行处理

(ParallelComputing)和网格计算(GridComputing)进展而来的。到目前为

止，对于云计算的定义还没有一个确定的说法，可谓仁者见仁、智者

见智。狭义的云计算：指厂商通过分布式计算和虚拟化技术搭建数据

中心或超级计算机，以免费或按需租用方式向技术开发者或者企业客

户供应数据存储、分析以及科学计算等服务，比如亚马逊数据仓库出

租生意；广义的云计算：指厂商通过建立网络服务器集群，向各种不

同类型客户供应在线软件服务、硬件租借、数据存储、计算分析等不

同类型的服务,广义的云计算包括了更多的厂商和服务类型，例如国

1

内用友、金蝶等管理软件厂商推出的在线财务软件，谷歌发布的

Google应用程序套装等。

2、云计算的核心技术

云计算系统运用了很多技术，其中以数据存储技术、数据管理

技术、编程模型、虚拟化技术、云计算平台管理技术最为关键。

2.1数据存储技术

云计算的数据存储技术主要有谷歌的非开源的

(GoogleFileSystem)云计算系统由大量服务器组成，同时为大量用户服

务，因此云计算系统采纳分布式存储的方式存储数据，用冗余存储的

方式保证数据的牢靠性。云计算系统中广泛使用的数据存储系统是

Google的GFS和Hadoop团队开发的GFS的开源实现，GFS即Google

文件系统（GoogleFileSystem），是一个可扩展的分布式文件系统，用

于大型的、分布式的、对大量数据进行访问的应用。GFS系统由一个

Master和多个块服务器构成。Master存储着文件系统的全部元数据,

包括名字空间、存取掌握、文件分块信息、文件块的位置信息等。

GFS是针对大规模数据处理和Google应用特性而设计的。它

运行于廉价的一般硬件上，但可以供应容错功能，它可以给大量的用

户供应总体性能较高的服务，一个GFS集群由一个主服务器（master）

和大量的块服务器(chunkserver)构成，并被很多客户（Client）访问。

主服务器存储文件系统所以的元数据，包括名字空间、访问掌握信息、

从文件到块的映射以及块的当前位置。它也掌握系统范围的活动，如

块租约（lease）管理，孤儿块的垃圾收集，块服务器间的块迁移。主

2

服务器定期通过HeartBeat消息与每一个块服务器通信，给块服务器

传递指令并收集它的状态。GFS中的文件被切分为64MB的块并以冗

余存储，每份数据在系统中保存3个以上备份。

客户与主服务器的交换只限于对元数据的操作，全部数据方面

的通信都直接和块服务器联系，这大大提高了系统的效率，防止主服

务器负载过重。云计算的数据存储技术将来的进展将集中在超大规模

的数据存储、数据加密和平安性保证以及连续提高I/O速率等方面。

2.2数据管理技术(BigTable)

海量的数据处理是指对大规模数据的计算和分析，通常数据的

规模可以达到TB甚至PB级别。基于互联网时代的数据统计和分析许

多是海量数据级别的，其典型的例子如搜寻引擎、数字图书馆。由于

数据量特别大，一台计算机不行能满意海量数据处理的性能和牢靠性

等方面的要求。

云计算需要对分布的、海量的数据进行处理、分析并向用户供

应高效的服务，因此，数据管理技术必需能够高