云计算环境下分布存储关键技术解析.docVIP

云计算环境下分布存储关键技术解析 　　摘 要 云计算作为信息技术领域中出现的一种新技术，在科学计算和商业发展中起着重要作用，并在多个领域实现了广泛应用。云计算是的核心就是数据中心，而存储在数据中心的数据容量已经达到了EB级，如此庞大的数据量难免会导致数据丢失、错误等情况。因此，对如何加强云计算环境下分布存储技术的研究具有重要现实意义。 　　关键词 云计算；分布存储；数据中心 　　中图分类号：TP393 文献标识码：A 文章编号：1671-7597（2014）20-0081-02 　　随着信息技术的进步，社会经济也取得了快速发展，各行各业中产生的数据量在逐渐增加，尤其在高能物理、生物学、气候建模、地震预测等科学计算领域，以及Web搜索等商业计算领域表现的最为明显，为了更好的满足社会对存储以及通信技术的实际应用需求，云计算应运而生，并很快成为社会各个领域普遍关注的话题。 　　1 云计算环境下分布存储技术面临的挑战 　　1.1 容错性 　　传统提升容错性的方法是使用RAID技术、高性能服务器，以及专用的存储设备等，这种方法将会消耗供应商大量的生产成本，尤其云计算出现以后，在数据量与节点规模都不断增加的情况下，数据失效的概率表现出明显上升的趋势，数据失效成为云计算环境下的常态，给云计算服务提供商，以及与计算的使用客户都造成了较大的经济损失。因此，解决云计算环境下的分布存储容错性问题是当前急需解决的重要问题。 　　1.2 可扩展性 　　冗余磁盘预留方式是提高可扩展性的传统方法，这种方法在云计算出现以前是能够保证足够的存储空间的，但是由于云计算环境下数据中心的数据已经达到EB级，如此庞大的数据量是不可能通过磁盘预留方式解决可扩展性问题的，如此庞大的数据量要求数据中心网络可扩展性较高的同时，还要求数据的组织结构也具备较高水平的可扩展性。 　　1.3 成本控制 　　云计算出现之前的传统的分布存储只涉及小规模的节点和数据，也未对能耗提出特殊要求，所以传统的分布存储成本相对较低。但是，由于云计算环境下庞大的数据存储量与节点规模，造成其能耗成本上升，需要在散热、制冷等设备上投入更多的资金，因此，成本控制成为此时商家面临的又一重要挑战。同时降低能耗，遵循低碳生活理念，有效保护环境，既为商家赢得更多的利润，又为商品树立了一个良好形象。 　　2 云计算环境下的数据中心网络 　　2.1 以交换机为中心的结构 　　这种结构下是由一种三层的树型结构构成的，即聚合层、边缘层与核心层（如图1所示）。边缘层是由一个机架交换机连接一个服务器形成的；为实现带宽汇聚与均衡，边缘层交换机与聚合层交换机实现连接；为了实现用户对外部数据的访问，聚合层交换机与核心层路由设备相连接。 　　以交换机为中心的结构相对更加直观简单易操作，更容易进行连接，只需在增加机架和相应的交换机的条件下就能实现扩展，但是这种结构依然存在一些弊端，笔者总结为以下几点：一是灵活性差、下层服务器利用率不高，一个服务通常被分配给单一的第二层域，在开始时通常需要在第二层域中预留丰富的资源，从而造成服务器资源利用率不高的情况；二是链路带宽容量有限，由于从服务器向上层的路由器移动，需要的带宽逐渐增加，对交换机的要求也就更高，而即便是下层有服务器空闲，上层链路也会出现由于带宽不够导致的各种问题，从而对了数据中心负载转移能力造成限制；三是由于该结构下有限的聚合层链路，而不能很好的实现通信要求；四是存在交换机资源浪费情况，尽管这种结构具有提高系统可靠性的作用，但是如果其中一个交换机失效，替换的交换机不能明显地降低系统效率，造成交换机资源浪费情况。 　　图1 以交换机为中心的分层树型结构 　　2.2 以服务器为中心的结构 　　该结构通过安装多个网卡实现每台服务器的互联，并不涉及路由器、交换机等数据转发设备，由服务器实现数据转发任务。Libdeh等人提出了CamCube数据中心网络结构（如图2所示），该结构单纯由服务互相连接构成，不需要使用交换机和路由器设备。通过多个网卡实现服务器之间的连接，由服务器实现数据转发任务。在三维的每个方向上，其中一个服务器节点都与其他两个服务器直接相连，从而形成三维的环状结构，该结构中可以向外提供节点坐标空间。这种结构的设计思路是借助与更加灵活的路由接口，避免因为网络不透明性造成的性能损耗问题，并最终证明了这种设计的优势。 　　这种结构和线路连接并不难，但链路冗余较为严重，因为不适用交换机设备，就避免了传统的以交换机为中心的结构的单点问题，服务器可以实现与网络底层的直接交互，上层应用只需按照需求开发更加高效的路由算法。但是，这种结构下由服务器实现全部的数据转发任务，服务器计算资源被占用较多，造成服务器的负载上的较大压力，从而影响服务器的计算效率不高。