基于多云存储的数据放置策略方案研究.docVIP

基于多云存储的数据放置策略方案研究 　　摘要：随着网络技术的快速发展，在不同场景下，用户对于信息获取的实时性需求越来越呈现多样化。研究表明，数据放置策略优化可有效提高数据请求的效率，使得在对性能影响较小的基础上，最终满足用户对数据获取的实时性需求。该文拟在多云存储平台下对数据放置策略进行优化，根据性能及实时性需求的不同，在副本数量、放置位置等方面进行改进和完善，从而满足不同场景的数据实时性需求。 　　关键词：云存储；数据放置；冗余机制；一致性hash 　　中图分类号：TP311 文献标识码：A 文章编号：1009-3044（2016）07-0006-03 　　1 概述 　　近年来，随着大数据和移动互联网的发展，以及国家、大型企业信息化的大力建设，很多政府部门和企事业单位都纷纷建立了存储大量数据和媒体的应用系统[1]。1998 年图灵奖获得者 Jim Gray 曾断言：现在每18个月新增的存储量等于有史以来存储量之和。根据预测，2020年数据宇宙将达到35.2 ZB（1 ZB = 1百万PB）[5]。面对每天产生的大量数据，银行、国有企业、中大型企业等都耗费大量人力、物力、财力去建立自己的数据中心。但对于小型企业或服务短时用户来说，建立数据中心的费用是不值得去耗费或完全无法支付得起的，从而催生了一种按需收费的云存储技术。 　　随着云计算和软件即（SaaS）服务的兴起和发展，云存储已成为信息存储领域研究的热点话题。与传统的存储设备相比，云存储不仅仅是多个磁盘的整合，更是一个网络设备、存储设备、服务器、应用软件、公用访问接口、接入网和客户端程序等多个部分组成的系统[2-3]。云存储主要提供的是存储服务，用户通过网络将自己的数据上传至云服务提供商提供的在线存储空间中（公有云）。用户只需对自己所存储的那部分数据所占的存储空间支付费用，不必花费高昂的费用去搭建数据中心，节省了大量的费用。如果用户数据需要安全和保密，则企业或用户可根据自身条件和情况，搭建企业内部的数据中心，用来保存机密性数据，同公有云协同构成混合云来提供存储服务。 　　云存储是通过集群技术、分布式文件系统，将网络中大量不同类型的存储设备整合起来协同工作，共同对外提供数据存储和业务访问功能[5]。此概念一经提出，就得到众多存储厂商的广泛关注和支持。Amazon公司推出弹性块存储（EBS）技术支持数据持久性存储；Google推出在线存储服务GDrive；EMC公司收购BerkeleyDataSystems，取得该公司的Mozy在线服务软件，并开展SaaS业务；Microsoft公司推出WindowsAzure，并在美国各地建立庞大的数据中心；IBM也将云计算标准作为全球备份中心扩展方案的一部分；阿里巴巴也在世界各地逐渐建立起了庞大的数据中心Aliyun[4]。那么面对众多的云服务提供商，用户选择单云还是多云成为需要考虑的问题。对于用户来讲，不仅要满足用户对于性能和安全的要求，还应尽量地去降低成本；而对于提供商来讲，则重在考虑存储效率及服务的安全性和稳定性，保证满足用户的正常需求。 　　为应对云服务商垄断和单点故障问题，在学术界就有人提出多云存储架构。为更好地解决多云存储中的性能和可靠性保证，本文提出一种基于多云存储的数据放置策略方案，通过优化数据放置和副本存储方案，提高数据访问性能和存储效率。这样既可以为用户提供安全稳定的存储服务，服务商还可进一步提高存储效率。 　　2 基于多云存储的数据放置策略设计 　　2.1 云计算与云存储 　　云计算是在分布式处理（distributed computing）、并行处理（parallel computing）和网格计算（grid computing）等基础上进一步发展的产物，是透过网络将庞大的计算处理程序自动分拆成无数个较小的子程序，然后再交由多台服务器所组成的庞大系统经计算、分析后、将处理结果回传给用户[6]。运用该技术，将不同地区、不同类型的单一服务器或PC中的计算资源和存储资源整合，通过虚拟化技术统一到庞大的云计算系统中，达到可在数秒内处理数以万计的数据请求和访问。云计算系统不仅具备对数据进行处理和计算的功能，还具备存储大量数据的能力，由此可以把云存储理解为以数据存储和数据管理为中心的云计算系统。从三层模型分析得出，云计算和云存储的访问层、接口层相同，在基础层方面，云存储增加了数据管理和数据安全的部分相关功能。 　　2.2 多云存储 　　在The ACM Symposium on Cloud Computing （SoCC） 2010会议的“RACS： A Case for Cloud Storage Diversity”的文章中就已提出云服务商垄断的概念，即当用户要将存储的全部数据从单云中迁出时，