IBM GPFS分布式存储架构解析.docx

IBM GPFS分布式存储架构解析GPFS (General Parallel File System) 是 IBM 公司第一个共享文件系统，GPFS 是一个并行的磁盘文件系统，它保证在资源组内的所有节点可以并行访问整个文件系统。 GPFS 提供的文件系统操作服务可以支持并行应用和串行应用，它允许任何节点上的并行应用同时访问同一个文件或者不同的文件，提供统一命名接口。????? GPFS文件系统架构????? GPFS物理架构会分为三个层面：存储层、GPFS服务器层以及客户端层。存储层将存储通过SAN环境划分给服务器节点，服务器节点将这些存储磁盘进行配置并格式化形成最终的GPFS并行文件系统格式，客户端通过以太网与所有的服务器节点联通，他们通过私有文件系统协议来共享这个并行文件系统，实现IO的并发读写。??????? 如图最下层是GPFS的物理磁盘层，存储设备通过SAN环境将存储LUN划分给GPFS的服务提供层，也就是NSD服务器，它是一个集群式的服务提供组件。服务层将其识别到的磁盘格式化为NSD磁盘，这些NSD磁盘再经过GPFS服务层创建为GPFS文件系统，这个文件系统通过网络层的私有协议共享给所有的GPFS客户端，客户端就可以将其作为一个普通文件系统挂载到某一个目录下来存储文件。?????? GPFS的架构设计并非此一种。我们也可以将GPFS的服务层和客户端层整合为一层，也就是每一个NSD服务器既是服务提供者，同时也是客户端。这样做的好处在于整个架构趋于扁平化，IO深度会浅一些，性能会好。但是它需要更多的SAN资源来支持整个扁而长的集群架构。????? GPFS文件系统逻辑架构?????? 关于GPFS文件系统如何实现并行读写，具体原理如下图所示，GPFS的核心Deamon是mmfsd，它会通过子进程调用方式实现对GPFS配置、文件系统以及文件系统头信息的管理。应用程序的读写，通过层层调用实现最终的数据落盘。?????? 其中应用程序不需要任何定制操作，只需要正常调用操作系统文件读写就可以，操作系统在后台调用文件读写的时候会跟GPFS所管理的文件系统I节点进行映射最终实现GPFS文件系统读写的调用。每一个GPFS客户端有自己的局部I节点MAP，GPFS有一个统一的全局I节点MAP表。最终可以实现文件系统读写的一致性。也就是说，普通文件系统的I节点管理，在GPFS架构中是经过了操作系统和GPFS内核配合的虚拟映射之后形成的文件系统管理体系。????? GPFS文件系统所涉及到的逻辑对象网络共享磁盘NSD?????? 所谓NSD，就是GPFS将存储设备划给服务器的物理磁盘转化为具备GPFS自己的物理磁盘。GPFS文件系统就是要在其基础之上来实现。每一个NSD磁盘需要共享给所有的NSD服务集群节点。GPFS文件系统?????? GPFS文件系统就是在NSD磁盘基础之上创建的共享文件系统。文件系统创建会像其他文件系统一样创建文件系统管理信息及文件系统的地址空间表。GPFS服务集群节点及客户端节点?????? 所谓GPFS服务集群节点，就是要提供GPFS文件系统服务的集群节点。服务节点和客户端节点在软件的安装上没有任何区别，他们的区别需要在集群配置时来具体定义。Quarum Node 和Tiebreaker Disk?????? 它是GPFS集群为了避免在发生集群节点发生通讯故障，而通过本身资源数目无法判断集群状态，从而辅助判断集群状态的逻辑对象。节点本身可以作为仲裁资源，另外NSD也可以作为仲裁资源。??????? GPFS集群仲裁机制?????? GPFS 的数据完整性一方面是由以上提到的数据安全机制来保证，另外也通过一套可用性判断机制来完全保证数据完整性与系统安全。GPFS 提供三套不同的quorum 机制来判断系统当前的状态，其中File Descriptor Quorum 是系统内置的，不能做配置，另外两种 Node quorum（仲裁节点机制）和Tiebreaker Diskquorum（仲裁磁盘机制）方式只能二者选其一，使用那种方式要基于我们的系统环境与可靠性分析。仲裁节点机制：?????? 通过主机状态的来判断系统可用性的机制。GPFS 文件系统集群中，可以设置多个主机节点为仲裁节点。当超过半数的中袋节点在线时，判断系统为正常，反之，将关闭文件系统。仲裁节点数目最多可以128个。如果采用这种机制，而我们的仲裁节点为2N+1,意味着我们只能容忍N台机器宕机。所以当机器数目越少，这种机制的故障容忍程度就越差。仲裁磁盘机制：?????? 通过磁盘的状态来判断系统的可用性。我们可以设置系统通过监视指定的一些磁盘作为仲裁磁盘。当超过半数的 Tiebreaker Disk掉线时，则判断系统故障，将自动关闭文件系统。Tiebrea