基于Hadoop的文件同步存储系统的设计与实现.doc

... ... ... ... 分类号 密级 注1 UDC 学 位 论 文 基于 Hadoop 的文件同步存储系统的设计与实现 （题名和副题名） 刘文娟 （作者姓名） 指导教师姓名 佘堃 教 授 电子科技大学 成 都 （职务、职称、学位、单位名称及地址） 申请专业学位级别 硕士 专业名称 计算机软件与理论 论文提交日期 2012.03 论文答辩日期 2012.05 学位授予单位和日期 电子科技大学 答辩委员会主席 评阅人 年 月 日 注 1：注明《国际十进分类法 UDC》的类 万方数据 独 创 性 声 明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作 及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地方 外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为 获得电子科技大学或其它教育机构的学位或证书而使用过的材料。与 我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的 说明并表示谢意。 签名： 日期： 年 月 日 关于论文使用授权的说明 本学位论文作者完全了解电子科技大学有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘， 允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文的全 部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描 等复制手段保存、汇编学位论文。 （保密的学位论文在解密后应遵守此规定） 签名： 导师签名： 日期： 年 月 日 万方数据 摘要 摘 要 云计算时代，随着网络终端设备的广泛使用以及互联网技术的进一步普及，数 据存储与备份技术已经与个人生活及组织的运作息息相关，企业与个人均面临着 海量数据的管理难题。云存储及其相关技术的发展给数据存储领域带来了革新。 基于云存储的在线存储系统能够向用户提供永久的，存储空间可扩展的，便捷的， 价格低廉的数据存储与备份服务。当前国内比较成熟的存储服务产品有金山快盘、 华为网盘等。它们都提供了稳定的数据存储、文件同步功能，但也存在一些问题。 首先，客户端提供的文件系统监控功能不够完善；其次，文件的数据同步效率在 某些情况下较低；此外，有些产品没有提供数据的安全传输功能，也没有提供对 多种同步事件的分类数据传输功能；最后，现有产品尚未提供客户端与服务器数 据的加密存储功能。支撑数据存储的云存储平台的优化也是提供基于云存储的数 据同步存储服务厂商应该努力解决的问题。 本文从在线同步存储服务使用者的角度出发，总结了当前同步存储服务产品的 主要功能以及存在的一些问题，从需求与问题出发，深入研究了实现基于云存储 的文件同步存储系统的关键技术，设计并实现了一种基于 hadoop 搭建的云存储后 台，使用了 Rsync 同步算法的文件同步存储系统。论文的主要工作包括：分析国 内外同类产品的优缺点，明确系统用户的需求；利用开源的 jpathwatch 类库实时监 控系统客户端虚拟磁盘的更新变化，实现了不同类型同步事件的实时触发和通知 功能，添加了对文件移动和文件重命名的监控；通过对同步事件的分类，实现了 不同事件的分类化处理，特别是文件内容更新和续传事件，设计了一种基于 Rsync 算法的同步协议来减少通信双方的数据传输量，改进了同步效率；针对不同的同 步任务，设计了最佳的数据传输方式，使用 HTTPS 实现数据的加密传输；使用了 基于 Hadoop 的云存储后台存储数据。 本文采用分层模块化的方法对系统进行设计与实现，并且在论文的最后两个章 节对系统的功能模块进行了测试与分析，总结了研究成果和系统的可扩展功能， 最后展望了下一步工作。 关键词：Hadoop，文件同步，文件系统监控，Rsync 算法 I 万方数据 ABSTRACT ABSTRACT At the Cloud computing times, the technology of data storage and backup has been closely related to the lives of individuals and organizations. They are facing the problem of the management of massive data. The development of cloud storage and its related technologies have brought an innovation to the field of data storage. Online storage system which uses cloud storage technology can provide a permanent, convenient, inexpensive st