分布式文件系统元数据高效索引机制设计与实现-计算机系统结构专业论文.docx

独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除文中已经标明引用的内容外，本论文不包含任何其他个人或 集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体，均已在 文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。 学位论文作者签名： 日期：年月日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有权 保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借 阅。本人授权华中科技大学可以将本学位论文的全部或部分内容编入有关数据库进 行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。 保密□，在年解密后适用本授权书。 本论文属于  不保密□。 （请在以上方框内打―√‖） 学位论文作者签名： 指导教师签名： 日期：年月日 日期：年月日 华 华 中 科 技 大 硕 士 学 位 论 文 I I 摘要 随着数据量呈爆炸式的增长，文件系统的规模也在不断膨胀，系统中文件数量 达到千万甚至上亿，分布式文件系统能很好的解决大规模文件存储的问题，如 Google 的 GFS（Google File System）文件系统等。文件系统中文件元数据是描述文件基本 特征的数据，文件系统管理员和用户都需要通过文件元数据来快速定位需要的文件， 如何组织和索引分布式文件系统的海量元数据是一项亟待解决的问题。 为了解决文件系统海量元数据高效访问与查找的问题，在分析了元数据访问、查 找、分布特性的基础上，给出一种分布式文件系统元数据组织与索引方法，该方法 考虑文件系统元数据查找功能，将文件元数据根据目录树进行层次性分区组织，并 将每个分区的元数据顺序存储到磁盘；采用布隆过滤器（Bloom Filter）为每个分区 建立目录表用于快速过滤与查找不相关的分区；借助多维检索树（K-D 树）为分区 建立内存索引以支持多维元数据属性的查找；建立更新日志保存元数据的更新，将 元数据更新实时同步到索引以满足实时查找的需求，并周期性的同步到磁盘。 基于上述方法，设计并实现了分布式网络文件系统（Distributed File System， DNFS）的元数据管理模块原型 Mspy（Metadata Spy），并对其进行实验评估。实验 证明，Mspy 的元数据查找效率比传统方式提高 3-8 倍，使得文件系统大部分的元数 据查找操作能在 1 秒内完成。 关键词：分布式文件系统、 文件元数据、 层次性分区、 查询过滤、 K-D 树索引 与更新 II II Abstract With data grows explosively, the file system’s scale expands quickly, the number of files in file system has reached to hundreds of millions，distributed file system such as GFS(Google File System) can handle the storage problem of massive files. Metadata descripts the basic features of file in file system, both the system administrator and normal users need to quickly find the required files by file metadata, how to organize and index the metadata in order to ensure efficient metadata access and query is a serious problem in distributed file system. In order to solve the efficient access and query problem in file system,we analyzes the access、query and distribution characteristics of file metadata, presents a metadata organization solution. This solution considering with metadata query function, divides the file system metadata into several partitions hierachically, each partition’s