分布式文件系统中元数据管理机制的研究.docVIP

PAGE PAGE 1 分布式文件系统中元数据管理机制的研究 　　摘要：近年来，分布式文件系统在海量数据存储领域得到了广泛的应用。当前主流的分布式文件系统大都采用文件数据与元数据解耦的分布式架构，元数据的管理机制直接影响着文件系统的整体性能，本文主要研究了分布式文件系统中元数据管理的不同机制，并对它们之间的优缺点进行了详细的对比，最后探讨了元数据管理所面临的问题和今后的发展趋势。 　　关键字：分布式文件系统；元数据；管理机制 　　中图分类号：TP311 　　Study of Metadata Management Mechanism in Distributed File System 　　MENG An-Tai 　　(College of Information Science Technology,Chengdu University of Technology, Chengdu 610059, China) 　　Abstract：In recent years, distributed file system in the mass data storage areas has been widely used. he current mainstream of the distributed file system mostly adopts the file data and metadata decoupled distributed architecture,metadata management mechanism directly affects the overall file system performance, this paper mainly studies the different mechanisms adopted by distributed file system, and presents a detailed analysis of the advantages and disadvantages of them, finally discusses the metadata management problems and future development trends. 　　Key words：distributed file system;metadata; management mechanism 　　1 引言 　　随着非结构化数据在各行业的广泛应用，分布式文件系统为非结构化数据的存储和管理提供了理想的解决方案，当前大多数分布式文件系统通常将元数据与数据单独处理，即将控制流与数据流进行分离，从而获得更高的系统扩展性和I/O并发性。在此策略下，分布式文件系统主要由元数据服务器（MDS）和数据存储服务器组成，MDS主要负责存储文件命名空间以及所有文件和目录的各种属性，响应用户的服务请求，提供文件的属性、存储位置等元数据信息，并与数据存储服务器定时通信，组织和协调系统的正常运行。在文件系统中，元数据的存储空间在整个文件系统中通常不到10%，但统计表明[10]，元数据在整个系统中的访问比重达到50%到80%，因此元数据的管理机制对整个文件系统的正确性、一致性、扩展性和可用性等至关重要，是系统评价和优化的一个重要部分。 　　2 分布式文件系统架构 　　分布式文件系统自产生以来，在体系结构、系统规模、可扩展性、性能和可用性等方面发生了很大的变化。早期的分布式文件系统受网络环境、磁盘容量、处理器性能等方面的限制，一般提供标准的远程访问接口，注重文件访问性能和数据可靠性，它所制定的协议规范和相关技术为以后分布式文件的发展产生了深远的影响，如NFS和AFS（Andrew File System）。之后随着对文件系统并行性和可扩展性的更高要求，出现了多层次结构、虚拟共享存储、代理转发等方式的架构，如XFS、Frangipani 、SFS（Slice File System）等。当前，随着网络技术的迅猛发展和存储介质成本的降低，加之海量数据的爆炸式增长，导致分布式文件系统管理的规模更大，系统更复杂，在此背景下，元数据集中管理的模式应运而生。 　　元数据集中管理机制将元数据操作与文件I/O操作分离，很好的适应了分布式文件系统的自身特点，即元数据操作的数据量较小且不易并行访问，要求响应速度快，而文件数据数据量大易于并行处理，数据吞吐量要求高。文件数据与元数据解耦的系统架构如图1所示，元数据的管理可采用单MDS和多MDS的方式，该架构易于实现文件访问并发性、负载均衡和扩展性。 　　3 元数据的管理机制 　　3.1 单元数据服务器架构 　　单MDS通常提供一个