GPFS 详解.docVIP

GPFS简介 引自：/post/11835/460335 前言 GPFS（General Parallel File System）是IBM公司推出的行业领先的并行分布式通用并行集群文件系统，GPFS从1993开始研发，1995年投入商用（最早投入使用在多媒体处理行业，所以我们现在看到GPFS的很多目录和命令为什么都有MM[multimedia]两个字母，就是根据这个背景延续下来的），其中经过了多次版本的改进和修订，到目前(2008)，GPFS的当前版本为3.1. GPFS是一个共享的磁盘文件系统，集群内的所有节点(NODE)可以并行的访问所有共享磁盘，并通过分布式的令牌管理机制和条带化技术来管理和优化各个节点的访问。 GPFS的应用范围非常广泛，从多节点的文件共享服务到大型的高性能计算机群，都可以看到GPFS的优秀表现。GPFS也应用在众多的企业应用系统中，比如高可用的解决方案：HACMP，ORACLE RAC，SAP的共享文件系统等，GPFS在这些应用里面都表现出了出色的性能和高可用性 什么是GPFS GPFS（General Parallel File System）是通用并行文件系统的缩写。 GPFS是一种高性能的、共享磁盘的、分布式文件系统 高性能：GPFS可以支持1个到上千个独立的计算机节点 可以从单个节点管理整个文件 支持AIX，LINUX以及混合节点环境 共享磁盘：所有的磁盘可以被所有的节点同等的访问 数据和元数据对节点的访问是相同的 任何直连节点都可以对任何磁盘进行读写 分布式：数据和元数据可以被任何一个节点来处理 所有节点都不需要经由其他节点就可以直接处理数据和元数据 消除了单一节点故障 tips:GPFS在内部采用了分布式的token的管理，通过token manger Server的功能来统一的对数据访问进行授权，对数据的授权可以做到数据块一级。可以保证多个节点对同一个文件进行修改。 GPFS集群的常见配置方案 方案一： 部分节点直接连接到SAN存储，而另外一部分节点并不直接连接到SAN存储，而是通过LAN的方式连接到集群中。 通过LAN方式连接的节点被称为NSD（network shared disk）客户端 直接通过SAN连接到存储的节点被称为IO Server。 1）每个IO服务器拥有一个多个直连阵列设备 2）NSD客户端通过GPFS协议对存储设备进行数据块级的访问 3）NSD可以配置为非常大的集群规模，使得不需要每个节点都需要直接连接SAN存储设备上，可以大大降低成本 4）NSD客户端和IO服务器是集群里的角色，他们需要相同的GPFS软件和license 方案二： 在方案一的基础上，NSD的可扩展性支持用跨越多个SAN的多个存储设备构建文件系统 GPFS可以自动判断数据访问的最佳路径 每个IO服务器提供磁盘访问的冗余保护 方案三： 多集群挂载 GPFS的安装 准备工作 1）安装所有的集群节点（OS，软件，补丁）和划分共享存储，配置好网络 2）确保集群中涉及到的所有的主机名都可以得到正确的解析（DNS/主机文件） 3）配置好RSH/SSH并确保彼此之间通信正常 4）集群中的所有主机的时钟同步（以便于后期的故障处理） 5）根据客户的资源或需求确定连接模式，比如全部采用SAN模式还是NSD模式（仅NSD Server通过SAN模式直接连接存储） 6）安装并行shell软件，比如dsh或psh 这一步不是必须的 aix下可以通过安装csm.dsh fileset安装dsh(/opt/csm/bin/dsh ) 设置环境变量$WCOLL指向所有的节点名 测试dsh，比如dsh -v date 软件安装 在所有的GPFS集群节点上安装GPFS软件，GPFS软件包由如下组成： gpfs.base-3.1.0-7gpfs.gpl-3.1.0-7gpfs.msg.en_US-3.1.0-7gpfs.docs-3.1.0-7 通过installp或smit或并行shell脚本在全部的节点上安装GPFS软件。 定义集群 通过mmcrcluster命令定义集群 先配置nodefile,类似如下： vi /tmp/gpfs/nodefile lpar1:manager-quorum lpar2:manager-quorum lpar3:client lpar4:client 注意：1）一个集群中至少需要一个仲裁（quorum）节点，当一个集群中的仲裁节点少于一半，GPFS将无法启动。 2）在一个集群中，建议至少要有个配置信息服务器（一个主，一个备） 管理集群 通过mmlscluster可以看到集群的信息，比如： root@c5an02:/root # mmlsclusterGPFS cluster info