grapes高分辨率气象数值预报模式并行计算关键技术研究-research on key technologies of parallel computing of grapes high-resolution meteorological numerical prediction model.docx

摘要建立高分辨率精细数值天气预报模式是大气科学研究和数值天气预报模式业务发展的主流方向。随着高性能计算机计算能力的提高，高性能计算机规模不断扩大。面对峰值性能达到每秒千万亿次的高性能计算机系统，数值天气预报模式能否充分利用计算平台所提供的计算能力，解决其庞杂的科学计算问题和海量数据处理问题，取决于数值模式的并行计算方案和并行实现方法，特别是其核心算法的计算效率。以我国自主研发的新一代研究/业务数值天气预报系统GRAPES（Global/RegionalAssimilationandPrEdictionSystem）的模式系统为基础，本文深入分析了GRAPES模式的科学计算原理，探讨了影响GRAPES模式并行计算效率的主要因素，设计了GRAPES分层软件框架结构和并行计算方案，建立了GRAPES模式的并行计算系统，并针对其中影响并行计算效率的关键问题提出了优化方案，重点研究了针对拉格朗日插值计算的并行实现方法，研究了GRAPES模式关键计算Helmholtz方程的高效求解算法，最后在天河-1A超级计算机上对GRAPES模式并行计算系统进行了一系列的测试分析。本文主要研究成果包括：1、深入分析数值天气预报模式科学计算原理，揭示数据并行是数值天气预报模式并行计算的基本策略。由于模式数据流计算是随时间依次完成的，不同时间积分步之间数据流前后依赖，数值模式并行计算只能在一个积分步内进行。而同样由于数据相关性，数值模式并行计算通常采用数据并行方式，即采用将预报区域按照计算核数划分成块进行计算。2、针对日益复杂的数值模式系统，分析指出数值天气预报软件系统必须采用软件工程方法进行组织、管理，软件开发必须遵循软件规范要求，并结合高性能计算机体系结构特点，设计了GRAPES分层软件框架结构，建立了符合软件工程规范的并行编程接口函数库PPI，实现了GRAPES模式并行版本基本软件架构。3、针对拉格朗日插值计算，分析了影响GRAPES全球模式并行计算实现的极地区域网格变量聚集问题，提出了以―供方‖为中心的并行计算方案（put-scheme），实现了以―需方‖为中心的并行计算方案（get-scheme），改进了任务分配算法。测试结果表明，两种方案均有效解决了极地网格聚集对拉格朗日上游点插值并行计算的影响。但从计算效率而言，―get-scheme‖方案更具优势：1）减少了极地区域的大内存需求；2）减少了极地区域数据通讯的盲目性；3）增加了低纬度地区上游点位移量的允许范围。因此，―get-scheme‖方案具有更好负载平衡性和并行可扩展性能。4、针对GRAPES模式中占主要计算开销的Helmholtz方程的求解，实现了基第i页于科学计算可移植扩展工具包(PortableExtensibleToolkitforScientificComputation，即PETSc)和高层并行预条件函数库（highperformancepreconditions，即Hypre）的广义极小残量法（GMRES）求解算法。与目前GRAPES模式版本中使用的广义共轭余差法（GCR）方法相比，GMRES方法具有收敛速度快、迭代次数少、求解精度高、并行可扩展性能好等特点。对于高分辨率精细模式，采用GRMES方法求解Helmholtz方程大大减少了GRAPES模式的计算开销，显著提高了GRAPES模式在大规模并行计算机上的运行效率。5、通过对不同收敛精度Helmholtz方程求解的理想试验、实际资料绝热模式以及全物理过程多方面测试，揭示了GRAPES模式动力框架计算精度被物理过程计算精度所掩盖的问题。模式计算精度是整个动力框架计算和物理过程计算的综合结果，积分计算中每个过程的计算偏差都会在一定程度上反映到预报结果的偏差上，因此提高模式计算精度必须从模式计算的多个方面入手。6、针对GRAPES核心算法，建立了IBM-cluster1600计算机上拉格朗日插值并行计算两种方法的并行通讯分析模型，以及Helmholtz方程两种求解方法的并行计算时间模型；通过IBM-cluster1600计算机上固定规模GRAPES模式可扩展性能测试，验证了GRAPES模式并行计算系统具有良好的并行可扩展性能。GRAPES模式在天河-1A超级计算机上的测试分析表明：1）GRAPES模式积分计算部分并行效率较高，并行计算保持了高可扩展性能，10天预报在2048个计算核上的计算效率接近90%；2）目前影响GRAPES模式并行可扩展性能的瓶颈一个是I/O操作，另一个就是如何将GRAPES模式更好应用于分层设计的计算机体系结构。通过本文的研究，实现了具有良好可扩展性能的GRAPES模式并行计算系统。目前GRAPES并行模式系统已在国家气象中心业务运行（GRAPES区域模式业务运行，全球模式准业务运行），计算正确稳定，满