磁盘阵列存储系统的分组编码技术研究计算机软件与理论专业论文.docxVIP

万方数据 万方数据 摘要摘要 摘要 摘要 随着互联网的快速发展，当前每天都将产生海量的数据。为了存储这些数据， 独立磁盘冗余阵列(RAID)利用多个磁盘提升系统容量和读写性能。在大规模 RAID系统中，由于磁盘数较多，磁盘故障是一种常态。因此，RAID系统通常 会额外保存冗余数据，以保证数据可靠性。当发生磁盘故障时，需要将坏盘修复， 以维持数据可用性。并且，修复过程应该尽可能更快，因为如果修复时间过长， 将长时间影响用户访问，并且在修复期间，若更多的磁盘发生故障，有可能造成 数据的永久丢失。然而，磁盘容量发展迅速，磁盘读写性能却发展缓慢，传统RAID 系统要修复单个TB级容量的磁盘将耗费大量时间。 为了极大地加快存储系统单盘修复速度，本文提出了一种新的RAID结构， 叫做OI．RAID，它的本质是一种分组编码技术。OI．RAID是一种分层结构，包含 了两层编码，即外层编码和内层编码。外层编码基于平衡不完全区组设计(BIBD) 和一种偏移轮转策略，能利用大量磁盘的带宽并行修复单个坏盘；内层编码基于 每条对角线，部署在每个磁盘组中。本文通过具体示例介绍了OI．RAID的构建 方法。我们在两层编码都部署了RAID5码，通过实验验证并分析了OI．RAID的 各方面性能。结果表明，Ol—RAID能利用不超过350个磁盘，使加速比达到60， 因此能在短时间内修复TB级容量的磁盘；OI．RAID在单盘修复过程中的数据读 取总量远低于相同容错能力的MDS纠删码．节省了网络带宽和磁盘读写开销： 01．RAID能利用接近于理论最少的磁盘数获取极高的单盘修复性能，保持了较低 的磁盘开销；OI．RAID的存储开销较低，介于0．2到0．6之间；OI．RAID的更新 开销己达到最优。 在实际的应用场景中，为了降低分组编码技术对存储系统磁盘数的限制，我 们分别基于Steiner三连系和完全图构建了OI．RAID，并提出了两种虚拟磁盘技 术。这些方法都额外耗费了更多的磁盘开销，以换取OI．RAID构建的灵活性， 为OI—RAID的参数提供了更多选择。为了进一步提高OI—RAID的数据可靠性， 我们在01．RAID的两层编码中分别部署了容多错的MDS纠删码，其中，若两层 编码都部署容3错的MDS纠删码，整个OI．RAID系统可容任意15个磁盘故障， 极大地提高了数据可靠性。最后，我们还讨论了OI．RAID这种分组编码技术在 数据中心中的应用，并提出了一种混合修复算法，降低了单盘修复的网络开销。 关键词：存储结构快速修复数据可靠性磁盘阵列 摘要 11 Abs仃actABSTRACT Abs仃act ABSTRACT With the rapid development of the Internet，a large volume of digital data has been produced every day．To store such large volume of data，Redundant Arrays of Independent Disks(RAID)aggregates a set of disks to provide huge storage capacity and high I／O bandwidth．In large—scale RAID systems，due to the large number ofdisks， disk failure becomes common event．So some redundancy must be introduced to RAID systems to keep data reliability．Upon disk failures，RAID systems recover the failed disks to keep the data availability．The recovery process should be done fast possible，because if the recovery process lasts too long，user access will be impacted for a long time．Moreover,more disks may fail during the recovery process，causing permanent data loss．However,the volume of disk increases rapidly,but the I／O performance of a disk increases slowly,hence the recovery process of a terabyte dis