一种用于精确的 3×3 矩阵乘法的 60 加法、秩 23 方案.pdfVIP

一种用于精确的33矩阵乘法的60加法、秩23

方案

JoshuaStapleton

DepartmentofMathematics,ImperialCollegeLondon

本jbs123@ic.ac.uk

译2025年8月8日

中

1

v摘要

7

5我们将一般（非交换）矩阵乘法的加性成本从之前的记录61

8

3（Schwartz-Vaknin，2023）[11]和62（Mårtensson–Wagner，2025）[9]

0降低到，而没有改变基。据我们所知，这代表了最新的技术水平。

.

8

0Keywords:矩阵乘法；加性复杂度；快速算法；三元权重；验证

5

2

:

v

i1介绍

x

r

a矩阵乘法运行着现代世界。对于ChatGPT每写的一个词，我们估计必

1

须计算个小矩阵乘积。由于大多数数字工作流程所需的极端大量

的矩阵乘法，即使在基本矩阵乘法算法方面有边际改进也能转化为全球范围

内的显著成本和能源节约。

在一个快速矩阵乘法算法中，乘法复杂度（通常称为秩）是指执行的标

量积的数量，加法复杂度是形成那些积和组装结果所使用的总标量加法或减

法的数量，算术复杂度仅仅是这两者的和，即执行的总标量操作数。寻求越

1使用Kaplan等。[6]提出的基于标记级别的FLOP模型forward，一个拥有175B

参数的模型需要次融合乘加运算来生成每个标记，即当映射到现代GPU/TPU

GEMM中使用的32×32内核时，次微矩阵乘积。

1

来越小的矩阵乘法算术电路的动力既促进了理论界限的发展，也推动了实际

内核的进步，这始于Strassen的里程碑分解。在1969年，Strassen[12]

发现了一种新算法，将计算任意22矩阵积所需的“秩”（大致相当于乘法

的数量）从朴素的=8减少到了7，从而开始了发现更快矩阵乘法算

法的密集努力，这一工作持续至今。Laderman(1976)[7]发现了一种秩-算

法用于情况：这是该问题至今已知的最佳上界。随着乘法秩似乎在近

五十年内固定为23，后续工作转向削减Laderman类型方案的加法成本，使

用图论分析和自动化搜索启发式算法[3,5,9]。Schwartz和Vaknin随后通

过利用另一种基底和一种置石启发式算法将Laderman的-加形式减少到

61次加法[11]。

近年来，深度学习辅助的算法发现进入了聚光灯下。Elser(2016)使用

保守学习网络分别“重新发现”了Strassen和Laderman式的秩7和秩23

方案[4]。在2022年，DeepMind的强化学习系统AlphaTensor发现了44

情况下新的最先进的(SOTA)方案[2]，将乘法秩从49（Strassen递归）减少

到47次标量乘法（在中）。最近的结果（也来自DeepMind）将44复

值矩阵乘法的乘法秩从Strassen的49降低到了4