面向异构计算平台数值模拟的混合撕裂有限元求解加速研究.pdfVIP

摘要

随着科学技术的不断发展，数值模拟的复杂度越来越高，传统的串行有限元

法已无法适应大规模数值模拟。近年来，有限元区域分解法作为一种并行有限元

法得到了学者的普遍关注。混合撕裂有限元法作为一种典型的有限元区域分解法，

是撕裂有限元法的改进版方法，能够求解大规模复杂工程问题，具有较强的可扩

展性。随着高性能计算的不断发展，异构并行计算逐渐成为主流。在面向异构并

行计算的混合撕裂有限元法中，存在进程内负载不均衡现象。各处理器因负载不

同而产生相互等待时间，对高效的处理器来说是一种资源浪费。迭代求解是混合

撕裂有限元法的核心步骤，一般采用预处理共轭梯度法。在迭代求解的向量内积

步骤中，全局规约通信操作需等待所有进程完成计算，因等待而产生的时间开销

对迭代求解速度有一定影响。在采用混合撕裂有限元法对反应堆堆芯组件进行数

值模拟时，由于反应堆堆芯组件的不规则性，导致各进程组装的有限元矩阵大小

存在差异。这种差异导致各进程的计算量不一致，影响迭代求解速度。因此迭代

求解技术优化是加快混合撕裂有限元法的关键。

针对以上问题，本文提出三种求解加速策略，解决混合撕裂有限元法的求解

速度慢、通信等待时间长以及集群资源利用率低等问题。三种求解加速策略分别

是进程内动态负载均衡策略、向量内积加速策略和进程间负载均衡策略。本文基

于上述三种求解加速策略以及相关开源软件实现有限元并行求解系统FEPSS。

本文的主要研究内容分为如下方面：

（1）针对采用混合撕裂有限元法出现的进程内负载不均衡现象，本文提出

进程内动态负载均衡策略。进程内动态负载均衡策略根据各处理器的计算量和计

算时间，动态分配各处理器的计算量，使得进程内各处理器资源得以充分利用，

减少稠密矩阵向量乘时间11%~34%。

（2）针对采用混合撕裂有限元法出现的通信等待时间过长问题，本文提出

向量内积加速策略。向量内积加速策略采用多线程并行计算，并且引入通信线程，

让一个线程参与通信，其余线程参与计算，实现通信与计算的重叠，减少通信对

求解的影响，降低向量内积时间21%~45%。

（3）针对采用混合撕裂有限元法出现的进程间负载不均衡问题，本文提出

进程间负载均衡策略。进程间负载均衡策略在迭代求解前采用MPI并行编程模

型，对各进程的计算量进行重新分配，使得各进程的计算量较为均衡，以充分利

用集群资源，节省稠密矩阵向量乘时间约16%。

（4）针对复杂工程问题，本文实现有限元并行求解系统FEPSS。FEPSS系

统实现一个完整的数值模拟流程，从几何模型输入到结果可视化展示。本文对上

述三种求解加速策略进行实验与分析，实验结果表明上述三种求解加速策略能有

效加快迭代求解速度。

关键词：混合撕裂有限元法，异构并行计算，稠密矩阵向量乘，负载均衡策略，

数值模拟

ABSTRACT

Withthecontinuousdevelopmentofscienceandtechnology,thenumerical

simulationdevelopswithincreasingsophistication,andthetraditionalserialfinite

elementmethodcannolongeradapttolarge-scalenumericalsimulation.Inrecentyears,

thefiniteelementdomaindecompositionmethodasaparallelfiniteelementmethod

hasarousedwidespreadconcernofscholars.AsatypicalFiniteElementDomain

DecompositionMethod(FEM-DDM),theHybridTotalFiniteElementTearingand

Interconnecting(HTFETI)methodisanimprovedversionoftheFiniteElementTearing

andInterconnecting(FETI)method.Itcans