磁盘阵列高容错模式及重构技术研究-计算机系统结构专业论文.docx

华中科技大学博士学位论文 华 中 科 技 大 学 博 士 学 位 论 文 I I 摘 要 信息技术日益深入到人类生活的方方面面，社会日常运转越来越不能离开各种 信息化服务、应用以及海量数据的支持，并持续推动各种信息数据的容量和类型迅 猛增长，计算机系统种类、规模和性能不断提升。因此计算机系统尤其是存储系统 的可用性越来越重要，同时也受到更多的关注。传统上通过磁盘阵列来提升存储系 统的容量、性能和可用性，其系统可用性由磁盘模型、系统规模、组织模式和重构 过程等因素所影响。在研究和分析现有高容错磁盘阵列研究的数据组织模式基础之 上，根据当前系统磁盘规模不断增加的情况，设计新的信息数据组织模式优化纠删 码编码机制并通过设计快速重构方法来缩短平均修复时间，从而提高系统可用性， 达到降低数据丢失的危险，并提高服务质量的目的，具有重要的研究意义和广泛的 应用前景。 引入新的编码概念——“分条组”，并在此基础之上提出了适用于组织大规模磁 盘阵列的、能够容忍双盘同时失效的非最大可分编码 Code-M，以支持单盘或双盘失 效时的快速重构。Code-M 是一种最低密度编码，通过在条带中均匀分布校验值，使 得其拥有最低的小写开销。此外，Code-M 还具有较好的可伸缩性，基于不同的分条 组构造方式，其能够支持多种不同的工作磁盘总数。量化评估结果表明，在固定用 户数据总量以及相同重构带宽的情况下，与具有相同磁盘总数（24 盘）的基于 RDP 编码的磁盘阵列相比，其能够为单盘失效重构带来 2.69 倍的加速比，并降低 40.9% 的双盘失效重构时间，而只需付出额外的 16.7%的存储空间代价。 分析了基于奇偶校验的高容错阵列纠删码的编码特点，引入单盘失效情况下的重 构策略 CRS（Cross Recovery Scheme），通过在同一个条带中使用不同类型的校验链 进行解码，以优化单盘失效情况下重构过程。其将部分重构引起的读工作流，转换 为少许的额外的解码计算开销，并使得剩余的重构工作流更加均匀的分布于所有磁 盘之中，从而达到优化整个重构过程的目标。通过分析可知，CRS 能够用于大多数 的基于奇偶校验的高容错阵列纠删码之中。除了能够有效减少重构工作流之外，CRS 还能降低部分与解码相关的用户工作流。量化评估结果表明，将 CRS 应用于基于 RDP II II 编码的磁盘阵列中，当磁盘总数为 12 个时，能够降低 20.84%的读写总开销与 22.92% 的总体读开销；当磁盘总数为 4 个时，能够降低 37.5%的单盘最大读开销。 提出了基于双工作栈的高速缓存替换算法 AD-LRU（Adaptive Dual-stack LRU）， 以提高高速缓存命中率，降低用户工作流对重构工作流的影响，达到优化重构的目 的。提出栈效率（Stack Efficiency）的概念，并以此为基础分析了自适应性栈长度与 栈效率的关系，提出了基于双工作栈与单历史栈的高速缓存替换算法 AD-LRU。其 利用新近访问栈（Recency Stack）吸收一部分被频繁访问且访问间隔较小的页面请 求，以期待在不对频繁访问栈效率产生较大影响的情况下，提高新近访问栈的效率， 从而有效提高高速缓存的整体效率。通过两种不同的工作流下的仿真结果表明，相 比于现有的高速缓存替换算法，AD-LRU 总是具有更好的命中率。 通过上述三个方面研究，较为全面的设计出适应大规模磁盘阵列系统中双盘容错 组织方法，并通过设计新型高速缓存算法提高磁盘阵列重构性能，改善双盘容错方 法的实际运行效果。 关键词：存储系统，可靠性，可用性，数据组织，纠删码，非最大可分码， 重构算法，高速缓存替换算法 PAGE IV PAGE IV Abstract Information technologies have been applied to many aspects of our everyday life. Human society can move ahead continuously with the support of various information services, applications and massive data. This promotes the rapid growth of data capacity and types, and improvement of computer organization, scale and performance. Therefore, the reliability and availability of storage systems become more and more important in computer systems,