云计算下的分布存储关键技术探究.pdfVIP

札 学术论坛 云计算下的分布存储关键技术探究 福建厦门解放军 95807部队(361000)连敬东 [摘 要]在我国，网络的运用就像手机的广泛使用一样，不得不说，科技的不断向前发展，和网络的广泛使用密不可分， “云计算”是一种新兴的计算模式，和传统模式相比，它有更快速的计算能力，更强大的储存能力和处理更大规模数据的能力， 这些无一不让现在的互联网用户着迷，也让更多企业看到了巨大的商机，本文就云计算下的分布存储关键技术进行深入的研 究与探讨。 [关键词]云计算 分布存储 容错性 成本控制 可扩展性 影响云计算环境下的分布存储的关键技术包括云计算的 据的组织和管理都是值得关注的问题。 可扩展性、容错性和成本控制等，所谓云计算下的分布存储主 1．3 成本控制。所有企业都会重视成本控制 ，这样才能获取 要分析研究的是数据在数据 中心上的组织和管理，云计算下 最大利益 ，传统的分布存储特点是节点和数据的规模较小，未 的分布存储是云计算环境的核心基础设施，由于其特殊性和 过多考虑能量消耗问题，成本未得到合理控制，增加了成本。 关键性，超过百万级的节点组成数据中心，而往往存储的数据 而在云计算环境下，庞大的存储规模和高能耗 ，不但要保证设 规模都非常庞大，经常会出现数据失效，这样不利于云计算的 备正常运转，同时制冷设备的能耗也要包括在内，可见能耗开 应用和推广，大大增加了成本 ，由此可见云计算环境下的分布 销是数据中心存储开销的一个重要组成部分。降低能耗是一 存储如何提高其扩展性、容错性并降低其成本是非常关键的 个重要的问题，降低能耗不但能延长磁盘等硬件设备的使用 问题。 寿命 ，还能降低数据中心的成本 ，这是云计算供应商一直的目 l 云计算下的分布存储在未来发展 中面临的问题 标 ，同时节能环保 ，一举两得。 目前无论是科学领域还是商业领域随着科技和经济发展 2 云计算下的数据容错技术和节能技术 的需要产生了越来越多的数据，数据存储也成为了人们关心 有别于传统的数据容错技术，本文所说的容错技术不但 的问题 ，数据存储受存储介质的机械运动的限制 ，成为了技术 保证了系统的容错性，还尽最大努力提高存储资源的利用率， 发展的一大阻碍，在云计算环境下，规模巨大的数据分别存储 从而降低成本 ．目前 ，常用的容错技术有两种 ，一种是基于复 于不同的数据中心，而不断扩大的数据压力，也使得数据存储 制的容错技术，另一种是基于纠删码的容错技术。 所面临的问题越来越严峻。这也使云计算下的分布存储应不 2．1 基于复制的数据容错技术。基于复制的容错技术是将一 断提高其可扩展性、容错性并做好成本控制。 个数据对象复制成多个相同的数据副本，不同的存储结点分 1．1 不断提高可扩展性。又长又复杂的磁盘预留方式是传统 布着相同的数据副本，如果一个节点上的数据失效了，那么可 的提高可扩展性的方法 ，虽然这种方法可以预留足够大的存 以访问其他有效的副本，从而获取数据。此方法需要着重研究 储空间，但是和现在一浪高过一浪的数据相比是小巫见大巫， 两点：一是，数据组织结构；二是，数据复制策略；前者着重研 云计算环境下，数以万计甚至百万的节点规模组成了现在的 究大量数据及其复制的副本数据的管理方式，后者着眼于副 数据中心，并且随着应用的不断扩展数据量不断增加，数据中 本的创建时间、复制副本的数量 、副本的配置等问题。 心规模和存储规模也需不断增加，然而就传统的预留方式而 2．2 基于纠删码的容错技术。基于纠删码的容错技术，第一 言，任何云服务供应商都不可能在建立之初就能预料到现今 步，先将待存储的数据对象进行分割，分割后的多个数据块大 的发展态势，所以数据中心不可能预留出足够的存储空间。就 小相等；第二步，将分割后的数据块进行编码，在读取数据时， 目前世界上大型知名的互联网公司而言，数据中心的数据量 如果能够获得足够数量已编码的数据块，原始数据可以通过 以超快的速度增长，超大的规模和快速的增长需要有较高的 解码便可得到。当然基于纠删码的容错技术存在带宽修复成 分布存储的可扩展性，而可扩展性不仅包括数据中心网络还 本 ，如何降低其带宽修复成本也是一个值