基于流式幂迭代的Muon实现：4. 原理（数学研究） .pdfVIP

基于流式幂迭代的Muon实现：4.原理

过《基于流式幂迭代的Muon实现：1.初识》、《基于流式幂迭代的Muon实现：2.加速》和《基于流式幂迭代的Muon实现：3.雕琢》三篇⽂章，想必⼤家已对

流式幂迭代（StreamingPowerIteration）的思想、实现、加速等细节有所了解，总的来说，这称得上是⼀种颇有竞争⼒的Muon实现⽅式，并且得益于它直接近似

计算SVD，所以它还具备更好的拓展性。

受限于篇幅，当时我们对相关运算的数学原理描述得相对简略，因此在这篇⽂章中，我们补充部分关于幂迭代和QR分解的数学推导，以建⽴更完整的理论图景。不

过，这⾥的推导依然是侧重解释性⽽⾮严格性，主要是为了帮⼤家（包括笔者）理清思路，还请专业读者海涵。

共轴等价

在开始推导之前，我们需要先引⼊“共轴等价”的概念。对于矩阵A,B∈Rn×m，如果存在⼀个符号矩阵S满⾜A=BS，那么称A与B“共轴等价（CoaxialEquivale

nt）”，它们互为对⽅的“共轴矩阵”。这⾥的“符号矩阵（Signaturematrix）”是指为对⻆线为±1的对⻆矩阵，即diag(±1,±1,⋯,±1)。

需要说明的是，“共轴（Coaxial）”这个词是笔者⾃⾏出⽤来描述这种等价关系的，因为在坐标系视⻆下，满⾜条件的矩阵A