基于云计算数据分布存储技术研究.docVIP

基于云计算数据分布存储技术研究 　　摘 要：云计算技术为海量数据安全存储、高效处理与传输提供有效支撑，但也因为分布存储中数据管理及组织技术水平的限制，会引发大量的数据丢失或错误，致使数据失效问题频发。针对此，文章以云计算分布存储技术的基本构成为切入点，从多角度分析分布存储技术问题，并就关键技术应用进行系统阐述。 　　关键词：云计算；分布存储技术；服务器；交换机 　　云计算作为大量数据存储、计算和处理的商业计算模型，其最大的优势是改变了本地计算的模式，转而依赖互联网，其将多个普通机器和网络设备构建成为一个海量数据存储的中心，从而为上层应用和服务提供更为全面的数据处理、存储服务。数据中心是云计算的核心构成。因此，云计算环境下的分布存储技术主要是对数据中心上的数据管理及组织技术的研究，但是该种技术自身水平有所限制，加之数据中心一般是由百万级以上节点构成，海量的数据存储规模可能达到PB级，甚至是EB级别，很可能发生数据丢失或错误，数据失效问题已然成为云计算分布存储技术应用的主要难题。基于此，本文将就云计算分布存储技术的基本构成、现存问题及关键技术进行细化分析，以为相关研究提供有效支撑。 　　1 云计算环境下数据分布存储技术的基本构成 　　1.1 以服务器为中心的结构 　　以服务器为中心的结构，将负责数据转发的交换机和路由器去除，由服务器负责数据转发任务[1]。以服务器为中心的结构和线路连接较为简单，虽然存在较高的链路冗余，但省去了交换机，可以规避树形结构中单点瓶颈问题[2]，由此，服务器便可与网络底层直接交互，上层应用可以结合需求开发效率更高、可靠性更好的路由算法。然而，因为服务器要负责所有数据的转发，势必会占用服务器的部分计算资源，增加服务器的负载压力，从而极大地降低了服务器的运行效率，而且，安装在服务器上的网络数据有限，通常情况下限定为两个网卡，每个网络配备6个端口，这就限制了数据中心上的节点数据规模，影响系统设备的数据存储和处理性能。 　　1.2 以交换机为中心的结构 　　以交换机为中心的结构，交换机承担数据包的转发任务，数据的存储及处理由服务器负责，其以树形结构为主，但也存在链路宽带有限、灵活性差、交换机资源浪费严重、通信需求无法满足等诸多问题。为此，目前多采用改进的树形结构，以微软提出的VL2树形结构为例，其将传统树形结构予以拓展，将核心层和聚合层的交换机?B接形成Close网络结构，避免了核心层交换机数量限制、海量数据转发引发的宽带瓶颈问题，拓扑结构如图1所示。而且，其还选用扁平式的编址方式，将主机的定位与应用地址通过名称予以分离，系统运行时，可以名称的形式将服务与应用部署在数据中心的任何位置，而真正的服务器IP地址则可利用映射方式得到，资源利用率得以提升[3]，但也存在缺陷，各个机架交换机与聚合层交换机只有两条10 Gig的上行端口，若应用对吞吐率要求较严格，则链路宽带性能瓶颈将随着机架中主机数量的激增而重现。 　　2 云计算环境下数据分布存储技术问题 　　2.1 容错性问题 　　容错性问题是分布存储技术应用最常见的问题，利用相关的磁盘阵列（Redundant Arrays of Independent Disks，RAID）技术、专业化的存储装置、高性能服务器等可以解决这一问题。但是随着网络数据的存储量和处理量迅速增加，数据中心的存储节点数急剧上升，又由于数据管理或组织技术水平的限制，可能导致数据丢失或数据错误问题频发，如若不能及时解决该种容错性问题，不仅会降低数据分布存储技术的应用效率，还可能给用户造成巨大经济损失，为此，容错性问题的解决迫在眉睫，其是推进云计算技术在多领域应用和发展的基础和条件。 　　2.2 可扩展性问题 　　扩展性是确保数据存储和高效处理的必要前提，以往，扩展性问题都是通过预留冗余磁盘来解决的，该种方法虽可在一定程度上提升磁盘容量空间，但尚无法应对海量数据存储的问题。根据调查研究，系统运行中，因扩展性造成的数据失效。已经成为一种常态，且在采集ER级数据时，每间隔6个小时，就会有一个磁盘发生数据丢失或失效问题，影响数据采集工作的正常运行，降低了数据采集的准确率，最终可能导致巨大的经济损失。针对此，在数据达到EB级或更高级别时，以磁盘冗余空间的预留方式并不能从根本上解决扩展性问题，需要借助新的技术寻求解决方法。 　　2.3 成本控制问题 　　以往的数据分布存储结构下，数据规模和节点数量都较小，在对数据存储、处理中，其能耗需求不高，多数设备无需进行降温或散射处理，而随着云计算在海量信息存储和处理中的深化应用，分布存储的数据规模增加，对于能耗的需求较高，且制冷设备的能耗应该包含其中，在系统不间断运行状态下，能耗成为数据中心存储开销中的关键内容，根据美国的调查研究，2010―