GFS分布式技术架构进阶.docxVIP

?

?

分布式存储技术解读系列之四：

GFS分布式技术架构进阶

?

?

1.什么是GFS？

首先，我们从GFS的定义：“GoogleFileSystem(GFS)isascalabledistributedfilesystem(DFS)createdbyGoogleInc.anddevelopedtoaccommodateGoogle’sexpandingdataprocessingrequirements.GFSprovidesfaulttolerance,reliability,scalability,availabilityandperformancetolargenetworksandconnectednodes.”。当中我们可以非常明确看到GFS区别于Ceph和SWift的核心在于它是一个文件系统，但是这个文件系统又是区别于我们Linux操作系统上普通的EXT文件系统，它具有分布式架构，因此它被赋予了以下特性：

（1）扩展性（Scalability）：它具备较强的架构扩展性，可以使得数据规模很容易扩展到PB级别；

（2）高可用（availability）：它具备较强的集群高可用性，能解决节点故障对集群的可用性影响；

（3）容错性（FaultTolerance）：它具备很强的数据容错性，能解决数据错误的问题；

除此之外，我们还要知道它的来源，它是谷歌的杰出作品，是谷歌三驾马车（GFS、BigTable、Mapreduce）三个当中的一个，而且对应着谷歌著名的三篇论文当中的一篇，支持所有谷歌服务的基石。接下来，我们从各个维度来分析究竟是什么样的架构和原理使它具备了这样的分布式特性。

2.GFS?架构原理

2.1?GFS物理架构

从物理节点角度看GFS的架构，它主要分为三个部分：Client、MasterServer、ChunkServer。应用的数据读写请求从Client端发起，先经过MasterServer查询元数据信息，得到元数据信息之后再到ChunkServer寻找数据本身或者写入数据本身。如图2.1：

图2.1GFS物理拓扑图

Client：是GFS提供给应用程序的访问接口，它是一组专用接口，以库文件的形式提供。应用程序直接调用这些库函数来获取数据的访问。它的输入仅仅需要文件名称及其在GFS系统当中的全路径。

Master：是GFS的集群管理节点，可以是主备模式，当然也可以是AA模式的集群。但是它的数据空间只有一个。它主要负责保存GFS的元数据及集群的协调管理。

Chunk：它是存储数据的节点，它可以扩展为很多。它主要负责响应客户端的实际数据读写，数据以文件的形式存储在ChunkServer上，文件组织的粒度为Chunk（默认为64M）。既然是文件系统的存储管理方式，那必然是Chunk_ID+Chunk_Address的组织管理模式。

2.2?GFSMaster

既然Master是GFS的核心管理节点，那么搞清楚Master里面的运作机制就是搞清楚GFS的必要条件，首先我们来看MasterServer存储的元数据是什么样的？我们在文章前面内容当中曾经说过，GFS排除它的分布式而言，它就是一个文件系统。既然是文件系统就会遵循文件存取的基本规则：客户端按照全路径文件名称存放或者读取文件。如图2.2.1：

图2.2.1Master命名空间图

对于MasterServer上保存的Metadata来讲，主要包含两个维度的数据，一个是文件的命名空间，它是一个树状的数据结构，也就是文件目录树。另外一方面，对于这个目录树的每一个叶子节点，也就是对应的每一个文件的元数据，它是一组Key-Value（Chunk标识，Chunk_Servers）。还有一点非常重要，那就是以上所述的Metadata，会在Master节点的内存当中保留缓存，其主要目的是为了快速返回客户端的元数据请求。

除了元数据的管理，Master还有比较重要的工作就是对ChunkServer的管理。如图2.2.2：

图2.2.2GFSMasterandChunk

Master需要和ChunkServer进行交互，从而收集一些必要信息（ChunkServer上的文件映射关系更新版本、ChunkServer节点本身以及它的磁盘及数据副本健康状况）。另外，根据收集的信息决定其下一步对ChunkServer的控制操作，包括更新自己的元数据信息，告诉ChunkServer从别的ChunkServer副本来复制完成对损坏数据的恢复，定期对数据分布的平衡性进行评估并通知ChunkServer去做数据