lGPFS文件系统分析.docxVIP

什么是GPFS文件系统GPFS（General Parallel File System）是IBM公司开发的高性能集群文件系统，从1998年开始首先应用于AIX集群，2001年后应用于Linux集群。在集群的环境中，GPFS文件系统允许集群中所有的节点访问同一文件的数据，并提供统一的文件存储空间。应用可以使用标准的UNIX文件系统接口访问文件的内容。GPFS支持32位和64位的应用，经过测试的文件系统的大小为100TB。GPFS可以动态的增加或减少文件系统的容量。GPFS提供了标准的POSIX应用开发接口，支持缓存方式的I/O（buffered I/O）、同步I/O操作（文件打开时使用O_SYNC或O_DSYNC标示符）、核心级的异步I/O（kernel asynchronous I/O，通过使用异步I/O系统调用实现）和直接I/O（Direct I/O，没有缓存的I/O）。直接I/O可以在文件级，使用O_DIRECT标识打开文件，也可以在文件系统级使用dio参数挂接文件系统。直接I/O的特点是执行I/O操作时忽略文件系统的缓存，这样可以节省处理器的消耗，避免数据从文件系统的缓存拷贝到应用的缓存。GPFS并行文件系统区别于其他的集群文件系统的特点是，在多个AIX、Linux节点中，为应用提供并发的、高速的文件访问，提供突出的性能，尤其是大数据量的顺序操作，尽管典型的GPFS应用适用于多个节点，但对单个节点也能提供有益的性能。GPFS文件系统适用于AIX和Linux节点的异构集群从GPFS版本2.2开始，允许集群中同时存在AIX和Linux的节点。GPFS的AIX版本和GPFS的Linux版本基于同样的源代码，只是适应于不同的硬件环境和不同的操作系统环境。GPFS使用共享硬盘的模式（Shared Disk Model）GPFS使用共享硬盘的方式，可以通过多种方式实现硬盘的共享：1）基于硬件的SAN结构，集群中的所有节点物理的连接到所有的存储2）使用单独的软件驱动VSD（Virtual Shared Disk），对集群节点体统虚拟的共享硬盘，通过VSD调度I/O操作3）使用NSD（Network Shared Disk），是有GPFS本身提供的，通过NSD调度I/O操作在VSD或NSD的环境中使用GPFS，为增强GPFS的性能，建议存储和节点之间通过高速的通道互连，增加数据的带宽。提高GPFS性能的关键点以下GPFS的特点可以帮助GPFS文件系统取得高性能的I/O：- 跨越多个硬盘和多个节点的条带化数据- 高效的客户端数据缓存- 允许管理员配置大的数据块，满足应用的特点- 使用预读（read-ahead）和后台写（write-behind）技术- 使用字节级（byte-range）的锁技术，提供数据的一致性要求，可以使多个应用节点并发访问同一文件GPFS元数据（GPFS metadata）在集群中，GPFS在所有的节点上处理元数据（metadata）。这是GPFS文件系统的架构和设计区别于其他集群文件系统的显著特点，需要集中的元数据服务器处理文件系统的边界（fixed region）。在大量的元数据操作下，元数据服务器将是潜在的性能瓶颈，另外，如果没有配置备份服务器，元数据服务器将变成一个单点故障。高可靠性的GPFSGPFS是高可靠性的文件系统，即使是在下列失败的情况下，仍可以配置为不间断的数据访问：- 计算节点- I/O服务器节点- 硬盘的连接可以配置GPFS的多个备份，即使在丢失硬盘路径，或者硬盘自身不可访问的情况下，仍可以保持操作的连续性。另外，GPFS也可以与RAID或者其他硬件冗余的功能协同使用，提供商业的连续性（business continuity）。要达到这一目的，需配置多个I/O服务器，当某一I/O服务器失败时，I/O请求仍可以通过备份服务器实现。在GPFS的环境中，某一节点的硬盘连接丢失，不会影响到其他的节点，GPFS使用RSCT的功能持续的监控不同文件模块的健康状态，当任一错误被检测到时，相应的恢复动作将自动执行。GPFS还提供了额外的日志和恢复功能，可以维持元数据的一致性。GPFS顺序读写的性能建议在配置高性能GPFS文件系统的过程中，从性能方面考虑，有几种配置和优化的方法，在考虑GPFS的配置的同时，应当考虑应用对性能的影响。配置硬盘GPFS可以使用VSD或者AIX物理卷，一段时间内，VSD在一些大的集群中是一个比较好的选择，在使用HPS（High Performance Switch）的系统中，VSD可充分利用HPS高性能的特点。VSD是建立在逻辑卷组（Logical Volume）之上的，I/O大小是有卷组（Volume Group）的LTG（Logical Track Group）的大小决定的。LT