资源虚拟和分布式技术-云计算的两大核心技术.docVIP

云计算技术及其应用

CloudComputingTechnologyandItsApplications

赵培/ZHAOPei

陆平/LUPing

罗圣美/LUOShenmei

(中兴通讯股份业务研究院，江苏南京210012)

(CommunicationServiceRDInstitute,ZTECorporation,Nanjing210012,China)

中图分类号：TP393.03文献标志码：A文章编号：1009-6868(2010)04-0000-00

摘要：

云计算主要基于资源虚拟和分布式并行架构两大核心技术。在虚拟化技术方面，文章探讨了物理资源的池化、资源池的管理与使用、集群的故障定位与维护、资源池的分组与异构等技术，以及异构的虚拟化云计算平台的建设和应用。在分布式技术方面，文章探讨了分布式文件系统和Key/Value存储引擎技术。对于分布式文件系统，提出主机“瓶颈”解决方案及存储接口标准化的想法；对于Key/Value存储引擎，提出目录化存储的解决方案。

关键词：

虚拟化；分布式计算；云管理平台；Key/Value存储引擎

Abstract:

Virtualizationanddistributedparallelarchitecturearetwotypicaltechnologiesofcloudcomputing.Forvirtualizationtechnology,thisarticlediscussesthepoolofphysicalresources,resourcepoolmanagementanduse,clusterfaultlocationandmaintenance,resourcepoolgrouping,andthebuildingandapplicationofheterogeneousvirtualizationplatforms.ItalsodiscussesthedistributedfilesystemandKey/Valuestorageengineassociatedwithdistributedtechnology.A“MASTERbottleneck”storageinterfacestandardisproposedforthedistributedfilesystem,anddirectory-basedstorageisproposedfortheKey/Valuestorageengine.

Keywords:

virtualization;distributedcomputing;cloudcomputingmanagementplatform;Key/ValueStorageEngine

云计算由Google提出，随后在互联网界风起“云”涌，随之而来的云计算效劳和技术平台成功案例层出不穷，如Google的GFS、MapReduce、Bigtable、Chubby和AppEngine；亚马逊的Dynamo、EC2、S3、SQS、SimpleDB和CloudFront；微软的Azure、SQL、“.Net”和Live效劳；开源云计算平台的HDFS、HBase和Eucalyptus；VMware的虚拟化平台等。

1云计算的核心技术

云计算主要基于资源虚拟和分布式并行架构两大核心技术，同时互联网上有大量的开源软件为用户提供支撑，如Xen、KVM、Ligd、Memcached、Nginx、Hadoop、Eucalytus等。云计算技术有效地节约了云效劳商的硬件投入、开发本钱和维护本钱。

虚拟化技术最早由VMware公司引入并在X86CPU上实现。虚拟化平台将效劳器虚拟为多个性能可配的虚拟机(VM)，对整个集群系统中所有VM进行监控和管理，并根据实际资源使用情况对资源池灵活分配和调度。

分布式并行架构是云计算的另一个核心技术，用于将大量的机器整合为一台超级计算机，提供海量的数据存储和处理效劳。整合后的超级计算机通过分布式文件系统、分布式数据库和MapReduce技术，提供海量文件存储、海量结构化数据存储和统一的海量数据处理编程方法和运行环境[1-3]。

2虚拟化技术

虚拟化技术主要分为两个层面：物理资源池化和资源池管理。其中物理资源池化是把物理设备由大化小，将一个物理设备虚拟为多个性能可配的最小资源单位；资源池管理是对集群中虚拟化后的最小资源单位进行管理，根据资源的使用情况和用户对资源的申请情况，按照一定的策略