基于Hadoop的全分布式存储架构研究.doc

... ... 代 号 10701 学 号 1008120054 分 类 号 TP333 密 级 公开 题（中、英文）目 基于 Hadoop 的全分布式存储架构研究 Study on Hadoop based Full Distributed Storage Architecture 作 者 姓 名 刘衍森 指 导 教 师 姓 名 、 职 称 樊凯副教授 工学 通信与信息系统 学 科 门 类 学科、专业 提交论文日期 二〇一三年三月 创新性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不 包含其他人已经发表或撰写过的研究成果；也不包含为获得西安电子科技大学或 其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做 的任何贡献均已在论文中做了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名：_____________日期____________ 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究 生在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。本人保证毕 业离校后，发表论文或使用论文工作成果时署名单位仍然为西安电子科技大学。 学校有权保留送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全 部或部分内容，可以允许采用影印、缩印或其它复制手段保存论文。 （保密的论文在解密后遵守此规定） 本学位论文属于保密在年解密后适用本授权书。 本人签名： _____________日期____________ 导师签名： _____________日期____________ 摘 要 随着互联网的飞速发展，人类已经进入大数据时代，数据量呈现爆炸式的增 长，云计算作为解决海量数据的有效手段也越来越受到人们重视。同时，云存储 作为云计算支撑性的底层服务也显得越发重要。尤其是目前最为流行的开源分布 式文件系统 Hadoop Distributed File System (HDFS)，以其廉价、简单易部署的特点 成为各大企业的首选。但是由于其自身的一些缺陷制约了 HDFS 的应用。 本文首先研究了目前几种主流的分布式文件系统，分析了各自的特点，重点 剖析了 HDFS 系统架构及其运行机制。HDFS 采用的是主从式的架构，系统只有一 个主节点，这种架构容易造成单点失效和高并发访问的性能瓶颈问题。本文针对 这一问题，提出了一种去中心化全分布式架构。该架构通过将单个 Namenode 水平 扩展为多个来解决单点失效问题。通过对元数据同步机制的深入研究，我们使用 Secondary Namenode 解决系统的元数据一致性问题。同时，文件采用读写分开的 方式存储，对只读性文件的存储策略进行改进，采用一致性 Hash 存储，将部分元 数据隐藏在文件名中，从而降低内存中的元数据量。同时采用文件偏移量而非固 定分块方式存储文件位置，减小文件碎片。最后通过系统仿真，说明在可靠性、 文件碎片、内存元数据方面所提架构比 HDFS 系统具有较大提升。 关键词：云存储 HDFS Namenode 单点失效 海量小文件存储 Abstract With the rapid development of Internet，people entered the era of big data. The data presented an explosive growth. As an effective method to store and manage mass data, cloud computing plays an important role. So as an underlying service of cloud computing, cloud storage becomes a key issues in cloud computing. As one of the most popular open source distributed file system, Hadoop Distributed File System (HDFS) becomes the first choice of the major companies because of its features of flexible structure, high efficient response and easy management. But some disadvantages of itself restricted HDFS application. In this