云存储架构与关键技术的研究.docxVIP

云存储架构与关键技术的研究 曾文英1,2，赵跃龙1，宋 威1,3 wyzeng@126.com ylzhao1@ song.wei@ （1.华南理工大学计算机科学与工程学院，中国广州 510640；2.广东科学技术职业学院计算机工程与技术学院，中国珠海 519090；3.广东工业大学计算机学院，中国广州 510640） 摘 要：本文提出了云存储系统的通用架构，分析了各个模块的功能，并讨论了其中的关键技术，等。云存储是一种新型的存储服务模式，它由服务提供方通过互联网向客户提供存储空间和数据存储服务，同时客户不需要了解其中的细节、底层结构和机制。本文推荐的云存储架构是层次化的、相互协作的，且讨论的关键技术包括部署、存储虚拟化、数据组织、转移和安全性等。运行机制包括生态链、博弈论、蚁群优化、数据生命周期管理、维护和更新，同时也分析了收敛和演变机制。所以本文从总体上阐明了云存储系统，并加入了新的观点。 学科分类：操作系统；存储管理；分配与收集策略；辅助存储；存储层次；虚拟内存 一般术语：算法；管理；度量；文档；性能；设计；经济学；可靠性；实验；安全；人为因素；标准化；语言；理论；法律方面；验证 关键词：云存储架构；关键技术；运行机制；生态链；博弈论；蚁群优化 Keywords Cloud Storage Architecture, Key Technologies, Operation Mechanism, Ecology Chain, Game Theory, Ant Colony Optimization. 概述 云计算是一种新兴的计算平台与服务模式，它基于互联网组织并安排服务。云存储就是服务之一，它使用基于云计算的远程存储服务器来提供存储资源和服务。云存储可以提供更为廉价且高可靠性和安全性的存储服务。 云存储系统是一种协作型存储服务系统，它拥有多台设备，多个应用域和多种服务形式。云存储的发展利益于网络带宽、Web 2.0，存储虚拟化，存储网络，应用存储与服务器及存储设备的集成，集群技术，网格计算，分布式文件系统，内容分发网络，对等网络，数据压缩，数据加密等技术的发展。 本文后面的内容按如下安排：第2节介绍相关工作；第3节提出云存储的通用架构；第4节讲述构建策略；第5节讨论云存储服务器的关键技术；第6节分析云存储系统的运行机制；第7节做个总结。 相关工作 现在有许多云计算和云存储提供商，如国际商业机器（IBM），谷歌（Google），太阳微系统公司（Sun Microsystems），微软（Microsoft），亚马逊（Amazon），EMC，NetApp，惠普（HP），Nirvanix，日立数据系统（HDS），赛门铁克（Symantec）等。 另外也有越来越多的云存储平台，如，HDFS，GFS，Sun N，SkyDrive，Amazon S3，EMC Atoms，Hitachi Content Platform，FileStore，和KFS等。 存储网络行业协会（SNIA）提议云存储首创方（CSI）将云数据管理接口（CDMI）标准采纳为云服务标准。 Yunhong Gu等人拟议的文献 REF _Ref318018501 \n \h [1] 允许用户像使用本地磁盘文件一样地与建立在大规模分布式节点上的大量数据集打交道。用户不必在多个节点中去定位数据，管理数据，也不必向系统中添加新的节点或删除已有节点。 文献 REF _Ref318018981 \n \h [2] 介绍了MetaCDN，一个利用“存储云”资源来创建能为内容创建人员提供廉价且高性能的内容分发网络（CDN）的集成重叠网的系统。MetaCDN可以通过依据服务质量、覆盖范围及预算以智能地匹配和替换用户的内容到一个或多个存储供应商来去除处理多个存储供应商的复杂性。MetaCDN提供一个单独统一的命名空间使得内容创建人员及消费者驾驭多个“存储云”的性能及覆盖范围工作变得琐碎，统一命名空间也使得它更容易集成到原始网站，且对终端用户来说更为透明。 文献 REF _Ref318023421 \n \h [3] 提出了一种在广域网之上及时存储转移机制，在存储的分布式转移方面具有参考价值。 云计算与云存储的飞速发展将产生云资源市场，并带来云服务选择的挑战，文献 REF _Ref318024830 \n \h [4] 提出过一些这个方面相关的算法。Ying Zhan等 REF _Ref318024958 \n \h [5] 提出的云存储管理技术也是个值得关注的紧要问题。 Albert Greenberg 等人 REF _Ref318025665 \n \h [9] 讨论了数据中心的云服务的费用，包括服务器（45%），基础设施（25%），电源（15%）和网络（15%