基于Hadoop的云存储平台的研究与实现-计算机应用技术专业论文.docxVIP

万方数据 万方数据 RESEARCH AND IMPLEMENTATION OF CLOUD STORAGE PLATFORM BASED ON HADOOP A Master Thesis Submitted to University of Electronic Science and Technology of China Major: Computer Application Technology Author: ZHANG Xing Advisor: LUO Guangchun School: Computer Science and Engineering 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工 作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地 方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含 为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明 确的说明并表示谢意。 作者签名： 日期： 年 月 日 论文使用授权 本学位论文作者完全了解电子科技大学有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁 盘，允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文 的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或 扫描等复制手段保存、汇编学位论文。 （保密的学位论文在解密后应遵守此规定） 作者签名： 导师签名： 日期： 年 月 日 摘要 摘 要 近年来，云计算日益成为国内外关注的焦点。当云计算系统中运算和处理的 核心是大量数据的存储时，云计算系统就衍变为一个云存储系统。云计算的飞速 发展，使云存储也成为当前业界最热门的研究领域。云存储作为一种新的服务， 它将用户的数据存储在云端服务器上，用户只要通过互联网登录云存储服务系统， 就可以在任何地方任何时候访问自己的数据，并且不用担心数据会丢失。 Hadoop 是 Apache 开发的一种开源的分布式计算平台，在分布式计算和数据 存储方面表现出优异的性能，引起了国内外知名 IT 企业的关注，各大企业和科研 机构纷纷投入研究，使得 Hadoop 在云计算和云存储中的应用越来越广泛。HDFS 是 Hadoop 的分布式文件系统，它具有强大的数据存储能力，适合云存储系统。但 它在设计上存在一些缺陷，性能上并不完美，要想大规模推广使用，必须先进行 改进。 本文主要研究基于 HDFS 的云存储模型，针对 HDFS 在小文件存储不理想和 副本分布不均衡两个问题上对其进行改进，并使用改进后的 HDFS 搭建云存储平 台。主要工作如下： 1. HDFS 为确保数据存储的可靠性，采用副本机制将文件的副本存储在集群 中。文件副本以数据块的形式存放在不同的 DataNode 上，然而 HDFS 默认的副本 分布策略具有随机性，不能保证副本均衡地分布在集群中。为解决这一问题，本 文提出了一种基于加权评价指标矩阵选择距离最优解最近、最差解最远的节点的 算法，对权值的确定采用层次分析法进行计算，在兼顾节点负载的同时，着重考 察空间使用率，选择最合适的 DataNode 来放置数据副本，使各 DataNode 的空间 负载整体均衡。 2. HDFS 是为大文件设计的，不适合大量小文件的存储。相同数据量情况下， 小文件会浪费 NameNode 的内存，同时降低访问效率。针对这一问题，本文对 HDFS 的文件存储过程进行改进，在文件上传到 HDFS 集群之前先进行判断，如果是小 文件则需要进行合并优化处理，并将小文件的索引信息以键值对的形式保存在索 引文件中。改进方案减小了大量小文件对 NameNode 内存的消耗，并提高了访问 效率。 3. 进行大量实验，将原 HDFS 与改进方案进行对比，实验结果证明，本文提 I 摘要 出的改进方案具有更好的效果，能够改善 HDFS 的性能。使用改进后的 Hadoop 搭 建存储集群，开发 Web 应用程序，通过 B/S 模式模拟云存储平台，实现云存储的 相关功能。 关键词：云存储，Hadoop，HDFS，副本分布，小文件 II ABSTRACT ABSTRACT In recent years, cloud computing has increasingly become the focus of attention at home and abroad. When the major task of computing and processing in cloud computing system is data storage,the cloud compu