高性能运算环境下的GPFS通用并行文件系统.ppt

内 容 I/O:高性能运算环境下的瓶颈 IBM并行文件系统GPFS介绍 GPFS的性能优势 GPFS与其他文件系统的比较 GPFS成功案例 I/O：高性能运算环境下的瓶颈 高性能计算发展的趋势 ——从Scale-up到Scale-out 数据变成高性能计算的核心 I/O是提高运算效率的关键 IBM并行文件系统GPFS介绍 GPFS – 历史 IBM I/O节点解决方案－GPFS GPFS发布于1998年，是成熟的工业应用级的并行文件系统，主要是为了实现SP高性能运算群集系统共享文件的需要。 在大量并行文件读写得系统中，多台主机上并行读写一套文件系统，每个主机有单独的CPU和内存，但共享的磁盘系统来存放数据文件。 GPFS，一个文件系统能够横跨在所有主机上，分布在所有磁盘上，条带化读写，高性能。信令管理机制，并发性好。有高可用性。 GPFS和AIX，Linux紧密结合，在大量并发读写的应用中，有着广大的客户群。 GPFS文件系统的实现机制 支持并行I/O操作 数据物理上分布在多个存储上 提供单一的名称空间视图，实现文件访问的位置独立性 向应用提供数据访问接口 减少磁盘接口和网络带宽造成的瓶颈，优化I/O资源的使用 GPFS为什么能打破数据I/O瓶颈？ GPFS如何工作 – 没有使用GPFS的情况 GPFS如何工作 – 使用GPFS的情况 GPFS工作方式和扩展方式 两种基本连接模式（可混合） 存储直连连接模式 配置示例 GPFS的性能优势 GPFS的典型性能数据 支持集群的规模 支持上千个节点的集群系统 全球最大规模的集群：Linux－2440个节点，AIX－1530个节点 国内最大规模的集群：Linux－~2000个节点，AIX－~400个节点 实测性能指标 IO吞吐量：134+GB每秒 实测最大的文件系统大小为~2PB HPSS和GPFS管理7.28 PB的数据 GPFS的典型性能数据（续） 文件系统的限制 理论上支持299字节大小的文件系统 理论上每个文件系统支持2,147,483,648（2 Billion）个文件 理论上每个集群最多可以挂载（mount）256个文件系统 目前国内文件数目最多的GPFS文件系统内部有超过1亿个文件 支持的操作系统 目前支持AIX/Linux/Blue Gene 即将支持Windows/Solaris 支持同一集群内部使用不同的操作系统 GPFS的优势 高可用性 高性能 在线升级、扩容 支持ILM（信息生命周期管理）、HSM（分级存储管理） 安装、配置、管理简单 开放式平台，扩展灵活 GPFS的优势 高可用性 先进的仲裁管理机制，确保系统最大程度的可用性，没有单一故障点 管理服务器在manager资源池内实现自动故障切换 支持多路径磁盘访问，一条路径访问失败，可以通过其它路径实现，每个NSD可以支持8个NSD Server （GPFS Network Shared Disk (NSD) 是GPFS的一个磁盘子系统，它提供对GPFS共享磁盘文件系统的远程管理和全局命名的功能） 支持对元数据和用户数据做replication，保证系统稳定可靠 Rolling Update，不停机升级 支持日志功能，实现系统快速恢复 GPFS的优势 性能 文件存储采用条带化技术，单个文件跨节点和存储系统分布，提高并发访问性能 智能预取机制，通过对文件访问模式的预测来进行预取，降低读写延迟 分布式的Byte Range级锁管理，包括文件和目录两个级别，允许最大程度的并发访问 分布式元数据服务器，避免元数据处理成为系统瓶颈 支持客户端数据缓存，不同节点可以根据需要设置不同的缓存大小 数据块的大小可自定义，16K, 64K, 256K, 512K, 1M，2M，4M NSD通信支持在InfiniBand高速网络上的RDMA通信方式 GPFS的优势 可扩展性 最大可支持数千个节点的集群规模和数百GB每秒的IO吞吐量 在不停止服务的情况下向集群添加和删除节点 在不停止服务的情况下向文件系统加入和删除磁盘 在不停止服务的情况下修改文件系统inode数目 GPFS的优势 管理简单 用户接口简单，与常用文件系统类似，方便用户使用 单点管理，可以集群内任何一个节点上完成对GPFS的管理任务，命令将在所有节点上生效 自动在各个节点间同步配置文件和系统信息 GPFS与其他文件系统的比较 GPFS与NFS,SAN File System系统结构的比较 客户端-服务器结构的网络文件系统 (NFS, DFS, or AFS): 存在单个服务器”瓶颈” 网络协议导致额外开销 GPFS相对于ADIC StorNext的优势 Lustre (开源) 优势 定位于高端用户，性能很好 中低端