基于web服务的分布式存储系统的分析与实现-analysis and implementation of distributed storage system based on web services.docxVIP

1 绪论本章首先分析了网络存储的需求背景；接着介绍国内外在网络存储系统方面所做 的理论研究，简单介绍一些实际投入使用的商业系统，并对它们的相关性能参数进行 对比；然后说明了本课题的研究背景、内容以及目标；最后简述了文章的框架结构。1.1 问题提出随着电子信息技术和计算机技术的不断发展，计算机的能力不断提高，数据量也 在不断膨胀，信息数据的以指数级别的速度迅猛增长。衡量数据大小常用的基本单位 已经从 GB 改变成了 TB，甚至是 PB。而且随着互联网技术的进步，静止的数据已经 没有价值。和货币一样，数据的交流和流通显得格外重要，人们需要在任何地方任何 时间以快捷简便的方式获得想要的任何数据。将数据保存在 PC 上这种传统的存储方 式已经无法适应人们日益扩大的需求。网络存储系统应运而生。网络存储系统在后端 构建存储服务中心服务架构，在前段提供友好的界面和简洁的操作方式，通过 TCP/IP 等网络传输协议以互联网为硬件载体，方便用户将数据放置到网络服务器。网络存储系统的技术难点和关键技术主要包括：（1） 数据中心存储架构：面对海量数据请求，数据中心服务器的负载压力不仅 表现为存储容量，更突显是在系统的计算响应能力，数据传输能力以及数据管理能力 这些方面上。因此发展一种先进的存储架构，将计算、存储、传输三个模块功能有机 整合起来显得尤为重要。（2） 数据可用性和稳定性：衡量一个网络存储系统优劣的最直接因素就是数据 传输速度以及是否稳定。（3）数据安全：数据安全包括两个方面。一个是放置在服务器的数据是否完整； 另一方面是数据是有所有者的，它不能被没有权限的人肆意阅读甚至修改。（4）扩展性：随着数据规模的不断膨胀，系统负荷不断加剧。面对 TB 甚至 PB的海量数据时候，系统的扩展性直接影响系统的整体性能。 除去技术上的难点，还要面对昂贵的网络带宽开销和繁琐的服务器维护。显而易见的是开发一个功能完备的网络存储系统的成本相当高。目前主流的商业网络存储系 统如 OceanStore[1]，Windows Azure,以及国内出品的联想企业网盘功能强大，但价格不菲。在图 1 中对 Windows Azure 和联想企业网盘的价格进行了展示。表 1.1：商业存储系统性能参数展示年计费（元）空间（GB）最大上传文(MB)最大流量（TB）特点Windows Azure80001050050提供计算服务联想企业网盘360010无限制10高容灾虽然在商业领域略有斩获，但是居高不下的价格让网络存储系统在个人用户市场无人问津。免费存储服务 FSS(Free Storage Service)，如电子邮箱（Email）、网络硬盘 和 FTP 等，由于其免费的特性受到个人用户的极力追捧，并由此引起了 FSS 厂商的 高度关注，最终在互联网上开拓了 FSS 市场。例如国内第一大邮箱服务商网易目前拥 有 3 亿用户，而且每天以 2000 新增注册用户的速度增长。但是伴随着数据容量的不 断膨胀，个人用户在传输速度，存储空间以及访问流量等服务质量方面对 FSS 提出了 更高的要求，目前的采用静态固定空间分配的 FSS 无法满足用户的这种动态变化的存 储需求。本研究课题以现有 FSS 提供的网络存储为支撑，采用资源共享的方式，设计并实 现了能够自适应地满足用户动态存储需求的网络存储系统 ppStore。1.2 国内外研究现状最原始的网络存储后台数据中心存储架构模式是“服务器—磁盘”。存储子系统 通过高速的 IO 通道和主机连接，然后经由 LAN 或者 WAN 网络接口和外部建立连接。 数据流的路径为：“主机内存存储子系统外部网络”。从中可以发现网络的带宽 流量以及主机服务器的性能严重影响着存储子系统的服务性能，不具有独立性。而且， 主机的 SCSI 总线和网络传输都没有容错功能，在 SCSI 驱动器需要维护或者 LAN 网 络接口发生错误的时候，存储子系统都会相应的出现错误。目前， 用于网络存储的 构架主要有如下四种：附属于服务器的磁盘阵列（RAID）、集中式磁盘阵列服务器、 附网存储（NAS）和存储区域网（SAN）[2,3,4]。SAN 是目前比较成熟的解决方案，通 常由 RAID 阵列连接光纤通道(Fiber Channel)组成[5,6]，提供了热备份的高容灾保证，已 经得到企业级别的认可，并投入到实际存储系统开发运用当中， 正在成为大网站、 大 企业信息系统的最佳存储方案。网络存储系统的是分布式系统的一种实际运用。许多存分布式系统的传统问题是需要首要处理的，整个万维网就是一个典型的分布式系统实例。由于分布式系统的组件广泛分布在互联网的计算机上，缺乏全局统一名字空间和时钟标准，组件之间相互 耦合缺乏独立性。构建分布式系统要处理的任务包括：解决组件的异构性（不同网络 的传