广域网存储加速系统的研究与实现-计算机应用技术专业论文.docxVIP

万方数据 万方数据 分类号 密级 UDC 注 1  学 位 论 文 广域网存储加速系统的研究与实现 （题名和副题名） 杨思茗 （作者姓名） 指导教师 徐杨 副教授 计算机科学与工程学院 电子科技大学 成都 申请学位级别 工学硕士 学科专业 计算机应用技术 提交论文日期 2013-3-15 论文答辩日期 2013-4-27 学位授予单位和日期 电子科技大学 2013 年 6 月 29 日 答辩委员会主席 评阅人 注 1：注明《国际十进分类法 UDC》的类号。 STUDY AND IMPLEMENTATION OF THE WIDE AREA NETWORK STORAGE ACCELERATING SYSTEM A Master Thesis Submitted to University of Electronic Science and Technology of China Major: Technology of Computer Application Author: Siming Yang Advisor: Yang Xu School : School of Computer Science Engineering 独 创 性 声 明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作 及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地方 外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为 获得电子科技大学或其它教育机构的学位或证书而使用过的材料。与 我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的 说明并表示谢意。 签名： 日期： 年 月 日 关于论文使用授权的说明 本学位论文作者完全了解电子科技大学有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘， 允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文的全 部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描 等复制手段保存、汇编学位论文。 （保密的学位论文在解密后应遵守此规定） 签名： 导师签名： 日期： 年 月 日 摘 要 摘 要 随着互联网的发展，越来越多的应用需要通过网络在异地存储备份数据，但 是，由于广域网具有高带宽高延迟的特性，而通用的传输协议没有针对该特性进 行优化，无法完全适应广域网数据传输的需求。此外，备份数据相邻备份周期的 版本通常具有高度相似性，如何高效检测出相同部分，仅传输差异部分，从而缩 短备份窗口和节省网络流量，是一个重要问题。最后，企业应用中，需要将系统 设置在网关节点中，如何对通用网络数据流进行传输优化，也是一个重要的问题。 本毕设从七层网络模型角度入手，在表示层和传输层对以上三个问题进行了 数据传输的加速。毕设自上而下分为三个改进部分，分别是表示层的重复数据删 除模块，乱序流解压缩模块，和传输层的 UDP 传输优化模块。 在重复数据删除模块中，系统借鉴了传统字节缓存算法中使用 rabin 滑动窗口 算法对数据流进行不定长分块的方案，同时，系统基于网络异地备份应用中两个 相邻备份窗口的相同文件通常只有细微改变的特征，提出将 rabin 指纹分块检测出 的多个连续重复指纹块用一个二级指纹块代替的算法，进一步缩减网络流量。 在乱序流解压缩模块，由于底层采用乱序提交数据包的方式，无法采用传统 流压缩中对前向所有数据流建立数据字典的方式，毕设基于越早传输的数据越有 可能已经收到的观测，采用对前向第 m 个数据包之前的连续 n 个数据包建立数据 字典的方式，保证了解压缩的实时性，避免了该模块由于等待所有前向数据到来 成为系统的瓶颈。 在 UDP 传输优化模块，系统摒弃了传统的 TCP 传输协议，而采用了 UDP 协 议，从而避免了高带宽高延迟广域网中使用 TCP 协议造成的过多延迟，同时，系 统实现了简单的差错控制算法并设计了带宽检测算法，保证了传输数据的可靠性 和高效性。 综上，毕设对三个部分进行了优化，每个部分有机结合，最终提高了广域网 存储加速系统的综合性能。最后，毕设搭建了一套验证系统，并进行了测试验证， 从实验结果分析，该系统能够较大地提高异地存储数据的传输速度。 关键词：广域网存储加速，字节缓存，乱序流压缩，可靠 UDP I ABSTRACT ABSTRACT As the development of Internet, more and more applications need net backup service. However, since the wide area network (WAN) has the attributes of high bandwidth, high latency, making it