GPFS文件系统的原理与模式IO优化方法.pdfVIP

计算机应用及维护管理技术 GPFS文件系统的原理和模式IO优化方法 杨昕 (国家气象信息中心高性能计算机室) 摘要 GPFS是IBM大规模集群系统中最主要的并行文件系统，能够为并行应用程序提供高性能的I／O存取访问。 本文介绍GPFS的原理和工作机制，并以安装在国家气象信息中心的IBM高性能计算机系统为实验平台，初步 测试在实际环境中GPFS的应用情况，尝试了在并行应用程序中对文件访问进行性能优化的方法。 关键词：并行模式；GPFS：ClusterComputing；I／00ptimization；肝I—IO 1 引言 数值预报是现代天气预报、气候预测业务和气象科学研究的重要手段。在数值预报科学 的不断发展和演进过程中，各种数值预报模式对计算机系统的要求也越来越高。从这些模式 目前的应用特点来看，它们仍属于计算密集型应用，即对计算机系统的需求主要集中在“总体 计算性能”。但近年来，雷达、卫星等大型数据越来越多地在多种模式中尝试使用，模式需要 处理的数据量开始迅速增长，高性能计算机中的存储性能正在逐渐成为模式应用中的另一个 关键因素。 高性能存储子系统一直是高性能计算机系统的重要组成部分。在计算机系统发展的初期， 存储系统，包括磁盘和磁带设备，主要是通过通信链路直接与主机系统相连。高性能计算机 系统在20世纪70年代的起步阶段，也采用类似的技术。随后，网络技术的迅速发展，芯片 密度不断提高，集群计算机系统飞速发展，在本世纪初的这几年时间里，集群技术已经越来 越成为高性能计算机系统的主流趋势。 集群系统即多个计算节点通过高性能通信网络互联起来的一套计算机系统，其最大优势 就是系统具有较高的计算密度和良好的可扩展性。从TOP500最新的排名中可以看到[1]，在 当今世界上计算能力最强的计算机系统中已经几乎没有单机系统，其中排在第一位系统为IBM 的“BlueGene／L”，计算节点总数超过6万个。众多的节点一方面带来了丰富的计算资源，但 另一方面，从应用的角度看，这给并行程序的开发带来了相当的难度，不同的应用必须使用 不同的算法对应用所需的数据进行某种方式的分割，运行的时候，应用程序通常是多个任务 在大规模的计算节点上以并行的方式进行各自的计算，并以某种频度持续地相互通信交换数 据，在其余时间段范围内处理自己任务内部的数据。其中，所有计算的节点对外部数据的访 问方式是高性能计算机系统中的一个关键领域，尤其对于数据密集型的应用来说，集群系统 中的共享文件系统的综合性能已经成为影响应用效率的关键因素之一。 等，除NFS外都是并行的共享文件系统。并行文件系统具有两方面重要特点，一是要提供高 性能并发数据访问，通常这是通过在底层物理存储设备、存储网络以及计算节点、I／O服务节 点等各层次中的虚拟化和并行化来实现的；另一个特点是在高性能数据传输的同时还要保证 数据的全局一致性，即多个节点读取或写入同一个数据文件的时候要看到完全一致的数据， 对于大多数并行文件系统，这一般是通过采用某种锁机制来实现的。 GPFS是IBM大规模集群系统中最常用的并行文件系统，起源于IBM的一个用于多媒体的 “Tiger 国家气象信息中心2005年科技论文集 用，是一个十分成熟、稳定的并行文件系统，同时在性能上有良好的可扩展性。2004年～2005 年．国家气象信息中心引进了2套I叫高性能计算机系统，其中一套包括382个符点，我们 在物理连接方式上配置成0个相对独立的GPFs；另一套为一个体系结构与前一套基本相同的 由12个节点构成的小规模集群系统，配置了一个独立的GPFS。从2005年汛期开始，中国气 象局内越来越多的用户己逐步把原有模式移植到这一新系统十。为了给用户提供一个具有高 度可用性和高性能的文件系统．我们从GPFS的创建、管理和应用等多个角度进行了研究和实 验，初步尝试了对GPFS进行优化的方式，这些经验将成为我们下一步T作的基础和依蒯。 本文后面内容安排如下：第2节详细描述GPFS的工作原理，第3节介绍GPFS相关的优 化方法，第4节介绍已经在GPFS上进行性能优化的T作情况和结论，并展望今后继续进行的 T作，第5节总结全文。 2 GPFS的工作原理 GPFS(Genera]ParallelFile