基于HDFS的云存储系统的设计与实现分析The design and implementation of cloud storage system based on HDFS nalysis.docxVIP

University of Science and Technology of China A d issertation for master’S deg ree The Design and Implementation of Cloud Storage System based o n H D F S C andidate Zhengjiu Gao Speciality ：Pattern Recognition and Intelligent System Supervis q ：： Associateoclate Professor1-rotessOr Ouanuan heng 1n● ● ● 1 A‘ ■lnlSnen time： April 18m，2014  中国科学技术大学学位论文原创性声明 本人声明所呈交的学位论文，是本人在导师指导下进行研究工作所取得的成 果。除已特IIII以标注和致谢的地方外，论文中不包含任何他人已经发表或撰写 过的研究成果。与我一同工作的同志对本研究所做的贡献均己在论文中作了明确 的说明。 ●， ● 作者签名： 向卫尢 签名日期：)014·” 中国科学技术大学学位论文授权使用声明 作为申请学位的条件之一，学位论文著作权拥有者授权中国科学技术大学拥 有学位论文的部分使用权，即：学校有权按有关规定向国家有关部门或机构送交 论文的复印件和电子版，允许论文被查阅和借阅，可以将学位论文编入《中国学 位论文全文数据库》等有关数据库进行检索，可以采用影印、缩印或扫描等复制 手段保存、汇编学位论文。本人提交的电子文档的内容和纸质论文的内容相一致。 保密的学位论文在解密后也遵守此规定。 作者签名： 盘垒丝 导师签名： 轧 口丕开 口保密(——年) 签名日期： 丝!!：鱼：圭 签名日期：丝[!丝奎  摘 要 摘要 近年来，云计算由于其可以快速分析处理大量数据而普及。而大容量高性能 的存储系统是云计算的基础。其中，分布式存储系统HDFS作为Google File System最为知名的开源实现，已经被广泛使用和研究。它为各大公司和科研机 构搭建云存储服务提供了很好的参考。然而，HDFS作为云计算的辅助系统，自 身还存在小文件存储效率低下等不足，由于这些不足导致HDFS本身是无法直接 提供针对商业需求的应用。为了解决这些问题，本文首先提出针对小文件存储的 优化方案并根据实际商业需求设计并实现了基于HDFS集群的分布式文件存储 系统。 本文所设计的系统主要包括两种访问模式：web模式和NFS模式。重点研 究了小文件存储优化、用户管理、配额管理、NFS和HDFS的融合等方面。本 文的主要工作如下： 1、针对小文件存储提出了优化方案，并进行了仿真验证。 2、设计出一套完整的针对企业级用户需求的解决方案，从客户端的设计到 整个系统的架构，从客户的需求分析到功能点的实现，都给出了非常详尽的描述。 3、本文完成了三大部分的实现，首先完成了基于web模式的云存储系统， 主要实现了用户登录，配额管理，文件共享等重要功能。然后将NFS引入云存 储系统，和HDFS分布式集群系统完成对接，实现了用户可以访问各自的独立空 问。最后完成了后台管理系统。 4、针对本系统的两种使用模式，使用黑盒子技术设计了非常详尽的测试用 例来测试它们各自的性能，并在上传文件、下载文件和不同并发下上传文件这三 个场景里进行性能的比较。 本文首先针对小文件存储设计了优化方案，通过仿真实验表明优化方案在内 存使用效率和文件读取效率方面提高明显。之后利用HDFS作为基础设计并实现 了符合商业需求的分布式存储系统，成功将NFS和HDFS进行融合。在实际的 测试和应用当中，系统的功能全面而实用、性能也表现良好。 关键词：云存储，小文件存储，HDFS，NFS，配额管理  ABSTRACT ABSTRACT In recent years，cloud computing is becoming popular because it can handle large amounts of data quickly．The storage systems of large capacity and high performance are the foundation for cloud computing．Among them，the distributed storage system named HDFS is the most well-known open source implementation of Google File System and it has been widely used and studied．It