并行磁盘系统的预取及缓存技术分析-analysis of prefetching and caching techniques for parallel disk systems.docx

ADissertationSubmittedinPartialFulfillmentoftheRequirementsfortheDegreeofDoctorofPhilosophyinEngineeringResearchonPrefetchingandCachingTechnologiesofParallelDisksSystemPh.D.Candidate:ShiXiaodongMajor:ComputerArchitectureSupervisor:Prof.FengDanHuazhongUniversityofScienceandTechnologyWuhan,Hubei430074,P.R.China08,27,2012独创性声明本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除文中已经标明引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。学位论文作者签名：日期：年月日学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有权保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权华中科技大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。本论文属于保密□，在年解密后适用本授权书。不保密□。（请在以上方框内打“√”）学位论文作者签名：指导教师签名：日期：年月日日期：年月日摘要随着网络、计算机技术的发展以及大规模数据密集型应用的出现，基于并行磁盘的存储系统变得越来越重要，并被广泛应用于各种场合。然而，磁盘性能的提高远远落后于处理器等电子设备，这使得存储系统仍旧是整个计算机系统的性能瓶颈。预取(Prefetching)以及缓存(Caching)是能够提高存储系统性能的两种非常有效的技术。但是，传统的预取以及缓存大多针对单个存储设备而设计，它们很难适应并行磁盘系统。并行磁盘系统无论是在结构上还是访问特点上都为预取以及缓存技术提出了新的挑战。因此，根据并行磁盘系统的特点改进预取以及缓存技术使之适应并有效地提高并行存储系统的性能非常有意义。顺序访问是磁盘访问中最为重要的一种访问模式，因为对磁盘（包括RAID中的磁盘）来说，顺序访问与随机访问之间的性能差距最大可有一个数量级以上的差别。正因为顺序访问可带来性能提高，因此无论是在工业界还是在学术界都有大量的技术致力于挖掘或者改善存储系统中的顺序访问。这些技术面临的一个重大挑战在于：如何获取顺序访问流的长度信息，只有对长度信息具有一定程度的了解，相关技术才能真正发挥出其功用。针对这种情况，提出一种加权图模型挖掘和预测顺序流长度信息。该模型不仅能准确捕获不规则的长度信息变化，也能根据不同负载类型的特点动态调整以适应尽可能多的应用环境。并行磁盘系统因为其本身的特点往往用作数据中心的最底层存储设备，因此其配置的缓存一般都属于第二层缓存。第二层缓存的一个最主要特点是：数据访问具有很弱的时间局部性，这是因为到达第二层缓存的访问，都是来自于第一层缓存的缺失（Miss）。更为严重的是，随着存储系统缓存与主机缓存的配置越来越接近，第二层缓存中数据的重用距离（ReuseDistance）与数据被保存在缓存中的生命周期越来越接近。在这种情况下，任何提前减少第二层缓存数据生命周期的动作（如预取）都可能最终导致数据失去在缓存中被再次访问的机会。然而，这个问题在传统的预取算法中没有得到重视。针对第二层缓存的这些问题，提出一种自适应顺序预取算法ASEP，在决定预取深度的时候该算法不仅仅考虑磁盘顺序性的挖掘，还考虑到对第二层缓存中数据造成的影响，这些影响既包括因预取操作被替换出内存的数据，还包括因为生命周期被减少而失去再次被访问机会的数据。为此，ASEP还提出了一种模型用于评估预取数据对第二层缓存的影响。该算法大大提高了第二层缓存的访问命中率，改善了顺序预取在底层存储设备中的效率。在高度并行化的并行磁盘系统中，就预取技术来说，其预取请求的磁盘独立性要比并行性更加重要，前者可以大大降低预取请求的成本。考虑到传统预取算法在应用到并行存储系统中的局限性（数据条带分布导致顺序性缺失），提出了一种针对并行磁盘系统的基于访问局部性的条带化预取算法LSP。条带化预取(StripPrefetching)是一种数据读取代价非常少的预取算法，一旦磁盘条带(Strip)上的某个数据块被命中，那么整个磁盘条带将会跟随此数据块一起被预取到缓存中，从而节省了预取请求中磁头定位寻道时间。更重要的是LSP将用户的访问特征融合到条带化预取之中，它首先根据用户的访问挖