网络存储服务器缓存替换策略分析-analysis on cache replacement policy of network storage server.docx

国防科学技术大学研究生院博士学位论文 国防科学技术大学研究生院博士学位论文 国防科学技术大学研究生院博士学位论文 国防科学技术大学研究生院博士学位论文 摘 要 随着因特网的蓬勃发展和社会的数字化变革，数据爆炸式增长对存储系统提 出了巨大的挑战，传统的直连式存储难以满足日益严峻的数据存储需求，促使人 们不断探索新型的存储系统。在这种背景下，存储技术与网络技术逐渐融合，产 生了网络存储技术。网络存储具有高性能、大容量、可扩展、易管理等特点，已 经越来越多地被应用于金融、石油、电力、通信等高性能计算领域中。 作为解决 I/O 瓶颈问题的主要软件方法，缓存技术始终是存储系统的一个研究 热点。缓存技术通过将数据暂存在相对高速的存储器中，可以提高后续的重复访 问速度。由于缓存的容量通常远远小于 I/O 路径中下一级存储器的容量，当缓存满 了以后，需要在一个恰当的时机选择恰当的数据进行淘汰，回收缓存空间以存储 新的数据。这种选择的依据就是缓存替换策略，是影响缓存性能的关键因素。目 前，网络存储服务器中使用的缓存策略大多是从直连式存储中移植过来的，由于 没有充分考虑网络存储中特殊的缓存层次结构和多客户机访问模式，从而使得网 络存储系统中的缓存性能在实际应用中表现不佳。 本文从网络存储的缓存层次结构和多客户机访问模式出发，对适应于网络存 储服务器的缓存替换策略进行了探讨和研究。着重对网络存储服务器自身、网络 存储服务器-单客户机、网络存储服务器-多客户机三种应用架构，由简单到复杂， 由集中到分布展开研究，提出了一系列具有低失效开销、高命中率的缓存替换策 略，分别适用于不同的工作负载和应用模式，从而可以提高整个网络存储系统的 性能。本文取得了如下的主要研究成果： 1．提出了一种基于顺序检测的缓存替换算法 SABER 传统的缓存替换策略忽略了磁盘 I/O 特性对缓存性能的影响。本文提出的 SABER 算法通过对缓存块磁盘地址的连续性进行分析，确定缓存块在磁盘上分布 的顺序程度，优先淘汰磁盘地址顺序程度高的缓存块，充分利用磁盘 I/O 所具有的 顺序局部性特征，可以减少缓存失效引起的随机访问磁盘次数，避免不必要的磁 头寻道和旋转，在时间局部性很弱的网络存储中，以较低的失效开销达到了高性 能。 2．提出了一种文件系统元信息感知的缓存替换算法 FIMAR 传统的缓存替换策略工作于文件系统之下，块设备驱动之上，文件系统元信 息对于缓存是透明的。本文提出的 FIMAR 算法把文件系统元信息 inode 引入到缓 存中，以此确定缓存块归属的文件，并预测缓存块在磁盘上分布的顺序程度，然 后做出替换选择，使磁盘可以尽可能工作在顺序访问模式下。文件在磁盘上一般 是顺序存储的，且具有很高的空间局部性，因此这种替换算法是有效的。 第 i 页 第 第 PAGE iv 页 3．提出了一种基于驻存时间的排他缓存替换算法 RED 网络存储中的缓存层次结构带来了数据冗余问题。传统的缓存替换策略在消 除数据冗余的同时，往往引入了专用的通信协议，无法兼顾对客户机的友好和高 效。本文提出的 RED 算法利用 I/O 接口的语义信息，监视客户机缓存的内容，使 用数据块在客户机缓存中的驻存时间作为服务器缓存中的替换依据。RED 算法不 仅可以提供高性能，同时不需要改变客户机软件，具有很高的可用性。 4．提出了一种多客户机自适应缓存替换算法 MACOR 在网络存储中，多客户机工作负载的数据相关性严重影响着服务器缓存的性 能，传统的缓存策略往往只能适应于相关性很低或者很高的情况，无法兼顾。本 文提出的 MACOR 算法，在不同缓存层次之间实现了排他缓存，在相同缓存层次 之间实现了协作缓存，可以动态自适应多客户机工作负载相关性的变化。MACOR 算法还提出了一种动态的缓存划分机制，解决了多客户机对服务器缓存的竞争问 题。 关键词：网络存储；缓存机制；替换策略；排他缓存；相容缓存；失效开销； 平均访问时间 国防科学技术大学研究生院博士学位论文 国防科学技术大学研究生院博士学位论文 国防科学技术大学研究生院博士学位论文 国防科学技术大学研究生院博士学位论文 Abstract With the vigorous development of Internet and digital society, the traditional direct attached storage systems are difficult to meet the challenge of explosive growth of data, leading to constant investigation on new storage system architecture. As the integration