混合SMPMPI并行化MAPS模式的试验分析研究.pdfVIP

混合SMP／MP I并行化MAPS模式的试验分析 俞康庆 (武汉暴雨研究所，武汉市430074) 摘 要 本文以武汉区域气象中心武汉区域气象中心为例，概述了并行编程策略，数据分解方 式，并行化的瓶颈及改进：并行化后模式计算的稳定性和误差分析。 关键词：SMP帅l并行编程策略误差分析 1 IBM RS／6000 SP硬件、软件环境 为了适应业务数值预报模式MAPS改进的新需求，武汉区域气象中心引进了IBM 组成、各配有2G内存、18．2 GB硬盘、32 M缓存。在节点内部，消息传递采用硬盘复制， 充分利用底层通信机制；节点之间的消息传递通过SPS专用高性能网络交换设备进行数据 交换，速率达300M／S。采用AIX 等软件，其综合性能较好。 在这样的硬件、软件环境下，将原串行版本数值模式并行化需要考虑下列问题： (1)、并行编程策略，数据分解方式，并行化的瓶颈及改进； (2)、并行化后模式计算的稳定性和误差分析。 2 MAPS模式并行编程策略 IBM SP系统从本质上讲是互连式的SMP，即在MPP系统中含SMP节点，这样的架 构为Ilj户提供了多种选择，纯SMP并行方式、纯MPI并行方式和混合SMP／MPI并行方式。 SMP并行目前将遍采用OpenMP基于指令的共享并行编程方式，其优点是编程方式简单， 节点内部消息传递极快；其不足之处是限制在1个：竹点上并行： MPI并行方式采H{l消息传 递库中的函数完成数据传输，相比SMP其优点是可扩展性好．但编程较难fll。为了充分利 川IBMSP系统共享式和分布式并行架构的优点，MAPS模式的并行化采用混合SMP／MP! 并行方式。 2．1MAPS模式简介 武汉区域气象中心业务数值预报模式MAPS是水平球面(^，0)坐标、垂直。坐标的 原始方程静力模式。其中包括：大尺度降水、积云对流参数化、行星边界层垂直传输、水 平扩散等物理过程。为了能更好地模拟长江中游中尺度对流复合体(MCC)降水过程，将 。E)分辨率加密到0．2 o，逐步向外按特定函数加大网格距，直至模式边界分辨率为D．5。。 本无法编译，在SGI OCTAN：[作站作48小时预报需要63小时18分钟。所以，必须移植 RS／6000 到IBM SP并行计算机上并行化。 2．2MAPS模式并行编程策略 从技术上说，数值模式的并行化是一个数值模式源代码结构与计算机并行系统架构相 互适应协调的过程。MAPS模式的并行化由以下三个步骤完成。 串行求解编程的优化——MAPS模式首先按照IBM SP系统的编译器特点和处理器的 运算开销尽可能地调整优化串行版本的源程序代码； 共享内存SMP并行编程——SMP任务比串行任务要求更多的系统资源，SMP并行编 程最人限度地依赖于编译器，冈此，MAPS模式此时编程的着眼点是在实行并行的循环体 中，最大限度地保持编译器可确认的公共子表达式。采用OpenMP并行命令给编译器一个 提示，指明需要并行化的DO pool_。性属量变其及体环循 分布式内存MPI并行编程——MAPS模式采用SIMD(单指令流多数据流)方式进行 MPI并行编科。所有的处理器解释同样的指令，且对不同的数据执行之。各处理器之间通 过消息传递进行同步、并行处理提交的任务。MAPS模式根据环境变量设置文件中的：1y点 数利分配给每个：1，点的任务数臼动均匀分割模式的数据场，同时，为了减少使用相同处理 器条什卜．数据的传输量，MAPS模式采刚列式的一维数据分割。 2．3实际个例并行运算的结果分析 以1999年6月27日00点的观测数据为例，以不同方式对一次长江流域暴雨过程作48 小时模拟。 表．I。MAPS99由串行到并行化调试过程中各种运行方式所用的墙钟时间和CPU时间 Time CPU(sec) 运行状