分布式存储系统中纠删码的数据修复技术分析-analysis of data restoration technology of erasure codes in distributed storage system.docxVIP

万方数据万方数据国防科学技术大学研究生院硕士学位论文国防科学技术大学研究生院硕士学位论文目 录摘 要 iABSTRACT iii第一章 绪论 11.1 分布式存储系统概述 11.1.1 大规模存储应用 11.1.2 数据容错问题 21.2 数据容错技术概述 31.2.1 多副本技术 31.2.2 纠删码技术 41.3 纠删码技术概述 51.3.1 Reed-Solomon 码 61.3.2 基于分组编码的纠删码 71.3.3 基于网络编码的纠删码 91.3.4 纠删码技术面临的主要问题和挑战 111.4 主要研究内容 121.5 论文组织结构 14第二章 相关研究 152.1 数据修复模型 152.1.1 基于网络信息流的数据修复模型 152.1.2 基于可用带宽的数据修复模型 162.2 纠删码的低网络负载数据修复技术 172.2.1 基于弹性的数据修复技术 172.2.2 基于节点间相互协作的数据修复技术 182.2.3 基于异或操作纠删码的数据修复技术 202.3 纠删码的快速数据修复技术 212.3.1 基于可用带宽的串行树型数据修复技术 212.3.2 基于可用带宽的并行树型数据修复技术 232.4 本章小结 24第三章 纠删码的数据修复问题建模 253.1 数据修复问题的描述 253.1.1 纠删码的编解码与数据修复原理 25第 I 页3.1.2 纠删码数据修复问题的统一表示 263.2 数据修复的网络负载建模 263.2.1 网络代价 273.2.2 网络距离的获得 283.2.3 数据修复的网络模型 293.3 实验结果与分析 293.3.1 实验环境 303.3.2 实验设置 303.3.3 结果与分析 313.4 本章小结 32第四章 纠删码的低网络负载数据修复技术研究 334.1 树型修复技术：NTree 334.2 最优修复树的构建 354.2.1 问题描述 354.2.2 问题求解 354.3 最优提供节点组合的选择算法 364.4 模拟实验结果与分析 374.4.1 实验设置 384.4.2 网络代价 394.5 本章小结 40第五章 纠删码的快速数据修复技术研究 415.1 修复时间的分析与优化 415.1.1 修复时间分析 415.1.2 修复时间优化 435.2 线型修复技术：NLine 435.3 修复路径规划算法 445.4 模拟实验结果与分析 455.4.1 网络代价 455.4.2 修复时间 475.5 本章小结 48 第六章 纠删码数据修复原型系统的设计与实现 49 6.1 HDFS-RAID 496.2 ECRepair 的总体架构 50第 II 页第 PAGE 第 PAGE IV 页万方数据6.3 基本流程 516.4 修复技术的实现 526.4.1 LinearRS 536.4.2 修复任务分发 536.4.3 树型修复的实现 546.4.4 线型修复的实现 556.5 实验结果与分析 566.5.1 基本测试 566.5.2 网络代价 586.5.3 修复速度 586.5.4 退化读速度 606.6 本章小结 61第七章 结 束 语 637.1 工作总结 637.2 研究展望 64致 谢 65参考文献 67作者在学期间取得的学术成果 71作者在学期间参加的主要科研工作 73国防科学技术大学研究生院硕士学位论文国防科学技术大学研究生院硕士学位论文第 PAGE 第 PAGE VI 页万方数据表 目 录表 3.1 实验集群节点软硬件配置信息 30表 3.2 数据传输任务的参数 31万方数据万方数据图 目 录图 1.1 多副本技术示意图 4图 1.2 (n, k, k’)纠删码编码和解码示意图 5图 1.3 (n, k)RS 码的编码原理 6图 1.4 LRC(8, 2, 2)的编码示意图 8图 1.5 三层 Pyramid 的编码示意图 8图 1.6 Tornado 码的构造示意图 9图 1.7 再生码的编码块和修复时的修复块 10图 1.8 再生码及其数据修复实例 10图 2.1 一个(4, 3)纠删码的修复信息流图 15图 2.2 星型和树型修复结构的对比 17图 2.3 MCR-DSN(n, k, r)示例 19图 2.4 MCR-DSN(5,3,2)的修复示例 19图 2.5 基于异或操作纠删码的编码实例 20图 2.6 星型结构和树型结构修复方法示例 22图 3.1 HDFS 的网络逻辑拓扑结构 28图 3.2 网络拓扑结构示例及网络模型实例 29图 3.3 实验集群的组成及其拓扑结构