云計算存储技术分析.docVIP

云计算存储技术分析 摘要 随着网络应用业务量的不断增长,云存储技术作为云计算系统的重要应用之一，也得到了更多的关注。对云存储技术的研究实质上是研究分布式存储技术。不同于传统的存储体系,云计算存储技术需要解决更多的数据以及运算的负载，需要保证更好的数据可用性以及数据一致性，需要提供更快的系统响应时间。针对这些需求，各大公司都开发出可以很好的解决方案，本文主要针对主流的云存储系统（Google File System、 Amazon Dynamo等）进行分析，主要分析其在冗余备份、动态扩展、负载均衡等方面的解决策略。 关键词：云存储， 冗余备份，动态扩展，负载均衡  Abstract As with the rapid growth of web application, cloud storage is getting more and more attention. In fact, research on cloud storage is essentially research on distributed storage technology. Distinguished from conventional storage system, distributed storage technology needs to better support enormous amount of data and computing workload, guarantee better data availability and integrity, and provide shorter system response time. To meet those requirements, lots of giant companies have come up with great solutions, this article mainly analyses mainstream cloud storage system, such as Google File System, Amazon Dynamo etc. And the main focus is on strategy for redundant backup, dynamic extension, workload balance. Keywords：redundant backup, dynamic extension, workload balance  云计算与云存储简介 近年来，云计算无疑是最热门的技术话题之一，越来越多的IT企业推出了自己的云计算产品，它的商业价值被给予了巨大的肯定，被认定是未来发展的必然趋势之一。 那么什么是云计算呢？目前，对于云计算的认识还在不断地发展变化，并没有一个统一的定义。号称“网格之父”的Ian Foster是这样定义云计算的：“云计算是由规模经济拖动，为互联网上的外部用户提供一组抽象的、虚拟化的、动态可扩展的、可管理的计算资源能力、存储能力、平台和服务的一种大规模分布式计算的聚合体”。[1]从概念上看，云计算实质上是一种分布式计算，云计算的核心思想，是将大量用网络连接的计算资源统一管理和调度，构成一个计算资源池向用户按需服务，提供资源的网络被称为“云”。 当云计算系统需要运算和处理大量数据的存储和管理时，云计算系统中就需要配置大量的存储设备，高性能的云存储也就成为了实现云计算服务的基本条件。云存储是指通过集群应用、网格技术或分布式系统等功能，将网络中大量不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能。事实上，几乎在所有的基于云计算服务的应用中都需要高性能的云存储来满足数据处理的需求。  2. 云计算存储技术 从云计算和云存储的概念中可以看出，云存储实质上是一种分布式存储，因此对于云计算存储技术的研究的核心在于对分布式存储技术的研究。由于云存储底层设备的软硬件环境各不相同，且所处的网络也是一个多变的环境，因此云计算的存储技术除了需要解决基本的海量数据的存储与获取之外，还需要解决负载均衡、提高容错性、动态扩展等许多传统存储系统没有遇到过的挑战。 针对上面提到的几点挑战，本文将对现有的技术进行介绍、分析及对比。 2.1 提高容错性 分布式存储系统（如Amazon Dynamo和GFS）都是应用在实际服务器上的系统，每一次出错都会带来巨大的损失，然而由于分布式系统的运行环境决定了其需要面对巨大的压力。据Google说，其每1000台服务器的集群中，平均每天坏掉一台机器，因此容错性是分布式存储系统在设计时就必须优先考虑的问题。[2]为了提供较高的容错性，常用的方法主要是冗余