SW-MPIFT在气象领域的应用.docVIP

SW-MPIFT在气象领域的应用 SW—MPIFT在气象领域的应用 尹万旺杨以军周明忠 (江南计算技术研究所,江苏无锡214083) E-mail:y__ hyla@126.corn 摘要随着集群系统在高性能计算领域的广泛应用,用户对其功能和可靠性的要求也越来越高.文章介绍了一种可以 实现保留恢复功能的MPI客错系统,以及该系统在气象模型GRAPES上的应用情况. 关键词集群MPI保留恢复客错 文章编号1002—8331一(2006)23-0186.02文献标识码A中图分类号TP302.8 ApplicationofSW-MPIFTinMeteorologicDomain 妇WanwangYangYtiunZhouMingzhong (JiangnanInstituteofComputingTechnology,Wl1)【i,Jiangsu214083) Abstract:Sincetheclusteriswideusedinhishperformancecomputing.usersdemandmole:andmorereliablesystem. ThispaperpresentsafaulttolerantMPI,wimthefunctioncheckpoint/restart,andtheperformanceoftheimplementation onthemeteowlo~cmodelGRAPES. Keywords:cluster,MPI,checkpoint/restart,faulttolerant 1引言 保留恢复(CheekPoint/Restart)是高性能计算集群应具备 的一项功能.然而,国内IrI厂家在这方面的起步都比较晚.在 2004年5月,中国气象局高性能计算机集群项目的招标过程 中.大多数国内外的IrI厂家都没有提供这项功能. 本文将介绍由我所开发的基于消息日志的MPI容错系统 SW—MPIb-T.实现了保留恢复功能,并在神威高性能计算机集 群系统上对气象模型GRAPES进行了实验和测试. 2保留恢复在科学计算中的重要性 何为保留恢复?保留恢复指的是程序运行了若干时间或是 运行到一个特定的位置时.程序中止运行,若干时间后,从停止 点继续运行.对于复杂的并行程序,尤其是大规模的并行计算 来说.保留恢复有着重要的意义. 一 般情况下,科学计算的时间较长.有的要花去数十天甚 至更长.而且前提是这个科学计算将消耗所有的高性能集群的 资源.这种特点决定了科学计算中的研究与业务在使用高性能 集群上面会出现冲突.业务部门需要定点,准时启动集群,必须 把所有运行在高性能集群的科学研究停下来.如果没有保留恢 复功能.人们会发现那些不能在短时间内完成的科学计算,永 远也没有计算结束的一天.因为科研项目每次均要重新来过, 而又被中途停掉.所以必须存在一种方法让科研项目能够断 续执行.同时,随着集群系统的规模越来越大,节点与网络故 障的发生几率也随之变大,所以需要系统有容错的功能,在节 点或网络发生故障的时候也可以让课题继续运行.而保留恢复 就是解决这些问题的最好方法. 3气象课题GRAPES GILAPES是由中国气象局牵头由我国自主创新研制的新 一 代数值预报系统,其英文全称为:Global/Reg/onalAssimila. tionandPrEdictionSystem.全球/区域同化预报系统. GRAPES项目研究的目的是在可遇见的高性能计算机能 力和可获取的高时空分辨率气象观测资料条件下,充分吸收国 内外的研究新成果,自主开发建立起中国新一代气象数值预报 体系GRAPES以四维变分同化技术,建立在新的通用动力框 架基础上的,模块化的不同尺度气象数值预报模式及数值预报 支持系统为研究重点,包括资料四维变分同化系统,有限区域 中尺度数值预报系统,全球中期天气数值预报系统以及环境支 持系统,其技术性能达到国际同期先进水平.该模式系统融合 了国内外最近几年在大气科学,探测技术,计算机等方面的最 新成果,并将作为新的气候模式系统的大气环流模式原型,成 为我国新一代全球中期天气预报和区域中尺度天气预报业务 系统的基础与核心. GRAPES的规模由用户的具体需要决定.根据推算,在机 器规模一定的情况下,如果规模较大,步数较多,所需时间一般 为数小时甚至数十小时.这种情况下,保留恢复功能就非常重 要,既可以提高系统可用性.又可以使课题断续执行. 4SW—MPIFT容错系统 MPIt】是目前高性能计算机消息传送接口的国际标准.也 是目前巨型机或集群系统中进行并行编程的必备库之一,故基 于MPI的容错是国内外研究的热点.SW～MPIFF采用的是基于 发送方的悲观消息日志和非一致性检查点技术相结合的技术. 基金项目:国家自然科