基于数据消冗和Chord协议的分布式存储技术研究-计算机科学与技术专业论文.docxVIP

Classified Index: TP393.01 U.D.C: 621.3 Dissertation for the Master Degree in Engineering RESEARCH ON DISTRIBUTED STORAGE TECHNOLOGY BASED ON DATA DE-DUPLICATION AND CHORD PROTOCOL Ca Candidate： Jin, Xuejiao Supervisor： Prof. Li, Don Academic Degree Applied for： Master of Eng Speciality： Computer Sci Affiliation： School of C Technology Date of Defence： June, 2010 Degree-Conferring-Institution： Harbin Institu ineering ence and Technology omputer Science and te of Technology 哈尔滨 哈尔滨工业大学工学硕士学位论文 哈尔滨 哈尔滨工业大学工学硕士学位论文 - - I - - - II - 摘要 随着信息时代数据规模急剧增长，信息量不断激增，数据信息已成为人类 宝贵的财富，数据的价值已经远远超过了计算机系统本身的价值；另一方面， 各种不确定因素又使得数据极易丢失，从而给用户带来了巨大的损失。因此， 面对海量数据对存储系统各方面需求的挑战，高效率的数据存储技术受到了人 们的广泛关注。 为适应海量数据对存储系统各方面的需求，本文首先研究了现有的分块级 数据消冗技术，比较了定长分块数据消冗和变长分块数据消冗的优缺点，分析 了影响数据消冗效果的因素。接着重点研究了基于 Rabin 指纹的变长分块算法， 提出了一种新型的文件切点查找算法。 本文还根据基于分块的数据消冗技术和基于 Chord 的分布式存储技术的特 点对文件资源定位进行了设计，并根据 Chord 协议的特点将文件分块的索引信 息按区间分布在不同的节点中，以二级索引的方式解决了集中式分块索引的难 题。本文最后提出了基于 Chord 协议的分布式存储技术和基于 Rabin 指纹的变 长分块的数据消冗相结合的的分布式存储系统结构。 实验结果表明，在基于 Chord 协议的分布式存储系统中引入数据消冗技术， 可以降低整个分布式存储系统的存储负担。此外，数据传输量的减少也有利于 提高低速网络下的数据备份与恢复的效率。 关键词 分布式存储；Chord 协议；数据消冗；Rabin 指纹 Abstract With the rapid growth of data size in the information age, the amount of information increases quickly, data information has become a valuable asset to the mankind. The value of data has far exceeds the value of the computer system itself. On the other hand, various uncertain factors make the data vulnerable to lost, which will bring huge losses to the users. Therefore, faced with the challenge of massive data to the all various aspects of storage system, high efficiency data storage technology has been widely concerned. To meet the needs of massive data to the storage system, we study the existing block-level data de-duplication technology first, compare the advantages and disadvantages of the fixed-length block data de-duplication and variable length block duplication, analysis the factors which affect the efficiency of duplication. We then focus on the Rabin f