磁盘阵列及磁盘块级容量提升技术分析-analysis of disk array and disk block level capacity enhancement technology.docx

万方数据万方数据独创性声明本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作 及取得的研究成果。尽我所知，除文中已经标明引用的内容外，本论文不 包含任何其他个人或集体已经发表或撰写过的研究成果。对本文的研究做 出贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声 明的法律结果由本人承担。学位论文作者签名： 日期： 年 月 日学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，即： 学校有权保留并向国家有关部门或机构送交论文的复印件和电子版，允许 论文被查阅和借阅。本人授权华中科技大学可以将本学位论文的全部或部 分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段 保存和汇编本学位论文。保 密□，在 年解密后适用本授权书。本论文属于不保密□。（请在以上方框内打“√”）学位论文作者签名： 指导教师签名： 日期： 年 月 日 日期： 年 月 日华中科技大学博士学位论文华中科技大学博士学位论文摘 要随着数据量的爆炸性增长，特别是近年来大数据应用的飞速发展，数据存储系统 面临着严峻的考验，容量和性能的压力越来越大。不仅如此，数据量的持续不断增长 需要存储容量的不断增长，因而需要存储设备具有在线扩容的功能，这使得存储设备 的容量扩展成为一个重要的研究方向；另外，磁盘的容量需要提升，除了磁记录物理 密度的提升外，也需要探索新的记录方式。磁盘阵列作为一种应用非常广泛的存储设备，数据的不断增长特性需要其存储容 量具备在线扩展的能力，并在扩展后能提高性能。为了对 RAID 5 进行扩容，数据必 须从旧磁盘迁移到新磁盘，以此来获得更多的空间和更好的性能。传统方法对 RAID 5 进行扩容时需要移动几乎所有数据并需要重计算所有的校验块，因而速度非常慢。针 对 RAID 5 提出一种基于校验块数据迁移的容量扩展新方案（PBM），该方案从数据块 分布图中特定的平行四边形选择数据进行迁移，而且平行四边形的一条边全部由校验 块构成。当增加 m 个磁盘到 n 个磁盘组成的 RAID 5 中时，PBM 可以实现最小数据迁 移，迁移量为总数据量的 m/(n+m)，并且不需要重新计算任何校验块。扩容之后，虽 然磁盘阵列已经不是标准 RAID 5，但是校验块同样能保证均匀分布。实验环境在真 实的 Linux 下对多个磁盘组成的磁盘阵列进行扩容实验，结果表明，PBM 方案比传统 的 MD 方案平均节省 73.6%的扩容时间，而性能下降仅为 1.83%。针对 RAID 6 的 H-Code 编码方式提出了一种称为 HCS 的扩容方案。H-Code 是 一种水平编码方式，具有较好的可扩展性。HCS 首先选择反对角线上的数据块，然后 进行水平的数据迁移，其优点是在迁移过程中不需要重新计算两种校验块 P 和 Q。扩 容完成之后，磁盘阵列仍然能够保持 H-Code 方式的数据分布，因此能实现多次扩容。 实验数据表明，与同样为 RAID 6 扩容方案的 SDM 相比，HCS 在扩容的时间上减少 3.6%，性能够提高 4.26%。作为存储系统中最基础存储单元的磁盘，目前已经有很多方式对其进行容量扩展， 瓦记录磁盘即是其中比较典型的一种。瓦记录磁盘通过叠加磁道的方式来增加磁盘中III万方数据II万方数据数据存储的面密度，使得在每平方英寸上能存储超过 1Tb 的数据。在传统瓦记录磁道布局方式上，提出了一种新的波形磁道布局方式，该方式通过双向叠加磁道，使得磁 盘的面密度能提高 6%-10%。此外，为了提高波形瓦记录磁盘访问性能，研究了一种 混合瓦记录的存储结构 HWSR。HWSR 对瓦记录磁盘采用段划分的形式组织数据，用 固态盘（SSD）缓冲区存放读数据，而用内存缓冲区存放写数据。在内存数据写入瓦 记录磁盘时，采用了一种新的写效率优先的数据淘汰算法 HWSR-ER，该算法能尽量 避免对瓦记录磁盘无效的写操作，从而提高了 HWSR 的性能。实验数据表明，在 8 个 I/O 的工作负载下，本文所提出的混合系统比普通磁盘的平均响应时间提高了 38.2%。关键词：容量提升；内存缓冲；固态盘缓冲；移动表；波形瓦记录磁盘 PAGE IV万方数据 PAGE IV万方数据AbstractWith the explosive growth of data volumes, especially with the rapid development of big data applications in recent years, data storage system faces severe challenges, including the heavy pressures on storage capacity and performance