一种有效提升广域云存储性能文件缓存系统.docVIP

一种有效提升广域云存储性能的文件缓存系统 张春华 （西北师范大学计算机科学与工程学院 甘肃兰州 730070） 摘要：为解决现有存储系统在高延迟低带宽的广域网络环境下出现的数据访问性能问题，设计实现了一个具有较高I/O性能的可扩展多节点文件缓存系统——WANcache。WANcache通过模拟数据源的文件系统命名空间实现缓存数据，异步化数据和元数据的访问，可以为上层应用提供独立持久流畅稳定的数据服务。实验数据表明，缓存命中时，WANcache可以提供和局域网环境下集群文件系统相同的读写带宽；缓存未命中时候，WANcache可以多节点并发通过广域网络读取数据，具有较好的可扩展性。总体来看，WANcache为解决广域数据访问的性能问题提供了一种有效的实现。 关键词：存储系统 广域网络 缓存系统 异步更新 中图分类号 TP3　　　　文献标识码 A 　　　　 A NEW FILE CACHE SYSTEM TO IMPROVE STORAGE SYSTEM PERFOREMENCE OVER WAN ABSTRACT：This specification is, including fonts, margins, page size and print area. Aiming at the performance problem of traditional storage system with WAN, a high I/O performance and scalable file caching cluster system is developed——WANcache.WANcache is able to cache the data by mimicking the namespace of file system at the remote site and asynchronize the data as well as the meta data access. As a result of that, WANcache can provide durable fluent stable service for the upper application as a standalone file system. The experiment data proved that the I/O performance of WANcache matched the cluster file system in LAN when cache hitting and once cache missing, WANcache got the data parallel by multiple nodes through WAN showing extreme scalable KEYWORD:Storage system; WAN; Cache system; asynchronous update 0 引　言 下一代数据中心、全球化的企业以及云存储系统都要求能够以一种一致有效并且可靠的方式跨广域网络共享大量的文件数据[1]。目前，把数据存储到地理分散的云存储系统和使用类似mapreduce框架建立高并发的数据敏感性应用相互融合，，已经凸显了对于能够跨越地理分布节点间实现数据存储、移动、访问的并且高度可扩展的基础设施的需求。虽然现有的一些支持海量存储的集群文件系统例如GPFS[2], Lustre[3], PanFS[4] 等，还有一些基于互联网应用的文件系统,例如GFS[5]，HDFS[6]等，都能够在容量和访问带宽方面实现扩展，对大量客户端提供PB级的数据支持。然而，这些系统都不能屏蔽广域网络(WAN)环境下的高延迟和网络抖动的问题，显露出种种问题。传统上，NFS和CIFS分别是UNIX和windows上用于网络传输文件的首选，由于其最初是为局域网环境设计，节点间交互过于频繁，因此不适用于延迟较高带宽较小的广域环境。NFSV4有一些针对广域环境的优化，但是其扩展性继续受制于单个元数据服务的制约。NFS4.1通过支持并行传输提升了I/O性能，但不能完全的屏蔽网络环境的高延迟和间歇服务。并且，存储云结构从单个高带宽的数据中心向多层次的存储仓储结构演变，例如Nirvanix SDN[7],文件数据需要有效的在不同地点之间传输，并且支持标准的系统API访问。在云计算中，为了实现数据敏感性应用在不稳定的网络情况下流畅稳定的运转，数据需要缓存在距离计算中心尽量近的节点[8][9][10]。而已有的关于文件缓存系统的数据的研究大多致力于提升一个单独客户端机器的性能上，而且，大多数现有的实现都是基于NFS客户端的缓存系统，均