云计算技术及其的应用.docVIP

云计算技术及其的应用 　　摘要:云计算主要基于资源虚拟和分布式并行架构两大核心技术。在虚拟化技术方面,文章探讨了物理资源的池化、资源池的管理与使用、集群的故障定位与维护、资源池的分组与异构等技术,以及异构的虚拟化云计算平台的建设和应用。在分布式技术方面,文章探讨了分布式文件系统和Key/Value存储引擎技术。对于分布式文件系统,提出主机“瓶颈”解决方案及存储接口标准化的想法;对于Key/Value存储引擎,提出目录化存储的解决方案。 　　[关键词]虚拟化;分布式计算;云管理平台;Key/Value存储引擎 　　Abstract: Virtualization and distributed parallel architecture are two typical technologies of cloud computing. For virtualization technology, this article discusses the pool of physical resources, resource pool management and use, cluster fault location and maintenance, resource pool grouping, and the building and application of heterogeneous virtualization platforms. It also discusses the distributed file system and Key/Value storage engine associated with distributed technology. A “MASTER bottleneck” storage interface standard is proposed for the distributed file system, and directory-based storage is proposed for the Key/Value storage engine. 　　Key words: virtualization; distributed computing; cloud computing management platform; Key/Value Storage Engine 　　 　　云计算由Google提出,随后在互联网界风起“云”涌,随之而来的云计算服务和技术平台成功案例层出不穷,如Google的GFS、MapReduce、Bigtable、Chubby和App Engine,亚马逊的Dynamo、EC2、S3、SQS、SimpleDB和CloudFront,微软的Azure、SQL、“.Net”和Live服务,开源云计算平台的HDFS、HBase和Eucalyptus,VMware的虚拟化平台等。 　　 　　1 云计算的核心技术 　　 　　云计算主要基于资源虚拟和分布式并行架构两大核心技术,同时互联网上有大量的开源软件为用户提供支撑,如Xen、KVM、Lighttpd、Memcached、Nginx、Hadoop、Eucalytus等。云计算技术有效地节约了云服务商的硬件投入、软件开发成本和维护成本。 　　虚拟化技术最早由VMware公司引入并在X86 CPU上实现。虚拟化平台将服务器虚拟为多个性能可配的虚拟机(VM),对整个集群系统中所有VM进行监控和管理,并根据实际资源使用情况对资源池灵活分配和调度。 　　分布式并行架构是云计算的另一个核心技术,用于将大量的机器整合为一台超级计算机,提供海量的数据存储和处理服务。整合后的超级计算机通过分布式文件系统、分布式数据库和MapReduce技术,提供海量文件存储、海量结构化数据存储和统一的海量数据处理编程方法和运行环境[1-3]。 　　 　　2 虚拟化技术 　　 　　虚拟化技术主要分为两个层面:物理资源池化和资源池管理。其中物理资源池化是把物理设备由大化小,将一个物理设备虚拟为多个性能可配的最小资源单位;资源池管理是对集群中虚拟化后的最小资源单位进行管理,根据资源的使用情况和用户对资源的申请情况,按照一定的策略对资源进行灵活分配和调度,实现按需分配资源[4-7]。 　　 　　2.1 物理资源的池化 　　云计算平台如图1所示。物理硬件设备的虚拟化对象包括服务器、存储、网络、安全等多个方面,不同的虚拟化技术从不同角度解决系统的各种问题。 　　(1)服务器虚拟化 　　服务器虚拟化对服务器进行资源虚拟和池化,将一台服务器虚拟为多个同构的虚拟服务器,同时对集群中的虚拟服务器资源池进行管理。