低同步变体重新正交化块经典 Gram-Schmidt 的性能.pdfVIP

低同步变体重新正交化块经典Gram-Schmidt的性能

11

ErinCarsonandYuxinMa

1DepartmentofNumericalMathematics,FacultyofMathematicsandPhysics,

CharlesUniversity,Sokolovská49/83,18675Praha8,Czechia

Email:carson@karlin.mff.cuni.cz,yuxin.ma@matfyz.cuni.cz

2025年7月30日

本

译摘要

中众多应用，如Krylov子空间求解器，广泛使用块经典Gram-Schmidt（BCGS）算法及其

1重新正交化的变体来正交化一组向量。在分布式内存设置中的大规模问题中，通信成本，特别

v是全局同步成本，是主要的性能瓶颈。近年来，提出了许多低同步BCGS变体，以减少同步

1点的数量。近期的工作[E.Carson,Y.Ma,arXiv预印本2411.07077]提出了稳定的单次同

9

7步和两次同步的BCGS变体，即BCGSI+P-1S和BCGSI+P-2S。在这项工作中，我们评估了

1BCGSI+P-1S和BCGSI+P-2S在分布式内存系统上的性能，并将其与其他已知的低同步BCGS

2

.变体进行了比较。与经典的重新正交化BCGS算法（BCGSI+）相比，数值实验表明BCGSI+P-1S

7

0和BCGSI+P-2S分别可以达到和倍的速度提升，并且性能类似于其他（不太稳定）的

5一同步和两同步变体。BCGSI+P-1S和BCGSI+P-2S因为与具有相同同步成本的其他变体相比

2其优越的稳定性，因此被推荐作为在分布式内存系统上计算经济QR分解的最佳选择。

:

v

iKeywords:格拉姆–施密特算法，QR分解，低同步，避免通信，分布式内存，MPI

x

r

aAMSsubjectclassifications(2020).65F10,65F25,65G50,65Y20

1介绍

在这项工作中，我们考虑使用经典的格拉姆-施密特（CGS）算法来计算一个矩

阵的经济QR分解，即，其中具有正交列，而是上三角

矩阵。

在分布式系统中，减少同步点变得越来越重要，这些同步点被定义为涉及所有处理器的

全局通信，例如MPI_所有减少。因此，减少同步点的阻塞策略成为了一种引人注目的方法；

请参阅综述[3]。因此，很多注意力集中在了块经典格拉姆-施密特（BCGS）算法及其低同

步（low-sync）变体上。传统的BCGS算法每个迭代只需要两个同步点（即每块列），但存

1

在稳定性问题，因为其正交性的丧失并不是如[1]所示的那样，其中表

示单位舍入误差。一个重新正交化的变体，BCGSI+，被提出，该变体实现了，代价是每

迭代增加了两个额外的同步点。

低同步版本基本上是从BCGSI+派生出来的，目的是减少添加的同步点。众多研究[1,

2,5]已提出了各种两同步BCGS变体，如BCGS-PIPI+和BCGSI+P-2S，以及一同步BCGS

变体，如BCGSI