分布式文件系统管理策略研究.docVIP

分布式文件系统管理策略研究 　　摘要：随着云计算的发展，出现了越来越多的应用需求。作为云计算的基础，分布式文件系统的作用显得尤为重要。文章重点分析了典型的分布式文件系统在应用中存在的一些问题，最后提出一种元数据服务器设计方法。 　　关键词：分布式文件系统；管理；主服务器；元数据 　　中图分类号：TP311文献标识码：A文章编号：1009-3044(2011)01-0011-02 　　Management Strategy For Distributed File System 　　XUE Zhi-Qiang, LIU Peng, WEN Ai, ZHOU You，XU Chuang 　　(MilGrid Research Center, PLA Univ. of Sci. Tech. , Nanjing 210007, China) 　　Abstract: With the development of cloud computing, more and more applied requirements have appeared. As the basis of cloud computing, distributed file dystem plays an important role. The paper mainly studies the problems existing in some classical distributed file dystems, and proposes a method to design Metadata servers. 　　Key words: distributed file system; management; master; metadata 　　目前，云计算备受关注。谷歌、Amazon、微软、IBM等国外著名IT企业都纷纷推出自己的云计算系统，意图在这一轮软件新浪潮中占据一席之地。分布式文件系统作为云计算的基础，实现多个存储设备之间的协同工作，使多个存储设备可以对外提供同一种服务，并提供更强大、更好的数据访问性能[1-2]。因此，深入研究可靠的高性能分布式文件系统，以寻求更好地解决系统性能问题的途径[3]，具有非常重要的意义。 　　1 典型的分布式文件系统介绍 　　众所周知，谷歌拥有全球最强大的搜索引擎。它取得的巨大成功，很大程度上在于其先进的存储和计算平台，已公开发表的论文Google File System介绍了部分的技术细节。谷歌的分布式文件系统GFS采用中心服务器模式来管理，系统架构如图1所示。 　　GFS整个文件系统有三类节点：主服务器（Master）、数据块服务器（Chunk Server）和客户端（Client）。Master是GFS的管理节点，负责保存元数据，管理整个文件系统；Chunk Server负责具体的存储工作，文件以数据块形式分散存储在多个Chunk Server上；客户端在访问GFS时，首先访问Master，获取需要交互的Chunk Server信息，然后直接访问这些Chunk Server，完成数据存取。这种设计方案实现了控制信息和数据信息的分离，极大地降低了Master的负载；客户端与Chunk Server之间直接传输数据流，而且可以同时访问多个Chunk Server进行数据存取，从而使得整个系统I/O高度并行，系统整体性能得到提高。另外GFS还采用控制元数据的规模、对Master进行远程备份等多种机制来避免Master成为系统性能和可靠性上的瓶颈。[5] 　　参照谷歌模式，目前出现了很多具有一定影响力和借鉴价值的分布式文件系统及应用。开源项目Hadoop File System（HDFS）、MooseFS等分布式文件系统的架构与GFS非常相似，IBM的“蓝云”[6]更是直接使用Hadoop作为基础平台。 　　2 中心服务器存储模式的优缺点 　　中心服务器模式是指在系统中有一个中心服务器专门负责管理元数据，所有元数据都存储在中心服务器的存储设备上。GFS以及众多模仿GFS实现的分布式文件系统都采用这种架构。这种模式可以大大简化系统设计，从而降低实现难度，同时这种模式也还存在着一些问题。 　　2.1 中心服务器模式的优点 　　主服务器管理所有的元数据，由于只有一个中心（Master），元数据不存在一致性问题。中心服务器模式使得系统在扩展方面也易于实现，增加新的Chunk Server只需要到Master注册即可，不用通知其他的Chunk Server。Master作为唯一的管理节点，掌握整个系统Chunk Server的存储情况，使得整个系统的负载均衡更加易于实现。这些优势都是无中心、完全对等模