随机重塑 KACZMARZ 方法的简单线性收敛分析.pdfVIP

随机重塑KACZMARZ方法的简单线性收敛分析

DERENHANANDJIAXINXIE

摘要.随机重排Kaczmarz（RRK）方法作为一种Kaczmarz型方法，在求解线性系统方面具

有简单和高效的特点，同时它还继承了带有随机重排（RR）的随机梯度下降（SGD）在原始

SGD上的实际改进。然而，当前对RRK的研究并未全面描述其收敛特性。本文提出了RRK

方法的新分析，并证明了其向线性系统的唯一最小范数解呈线性收敛。此外，收敛上界是紧

致的，且不依赖于系数矩阵的维度。

本1.介绍

译求解线性方程组

中

3(1)where

v

0作为一个基础问题出现在许多科学计算和工程领域中，在最优控制[32]、信号处理[5]、机

4

1器学习[7]和偏微分方程[31]中起着关键作用。在求解线性系统的方法中，Kaczmarz方法

1

0也被称为代数重建技术（ART），因其高效率和易于实现而著称。

.

0Kaczmarz方法通过在每次迭代中选择矩阵的一行，并将当前的解估计投影到由该行列

1

4定义的超平面上，从而逐步改进近似值。文献中的实证证据表明，在Kaczmarz方法[9,20,26]

2

:中，以随机顺序而非确定性顺序选择矩阵的行通常会加速其收敛速度。基于这一想法，

v

iStrohmer和Vershynin研究了用于一致线性系统的随机化Kaczmarz(RK)方法，并在其开

x

r

a创性的工作中[39]证明了该方法的期望线性收敛。这一突破激发了大量关于开发Kaczmarz

型方法的研究，包括加速RK方法[17,22,23,46]、随机块Kaczmarz方法[13,25,27,29,43]、

随机Douglas–Rachford方法[16]、贪婪RK方法[2,12,40]以及随机稀疏Kaczmarz方法

[8,38,45]等。

作为一种随机化方法，RK方法与随机梯度下降（SGD）在解决大规模问题方面具有

相似的优势[10,14,23,46]。事实上，RK方法可以被视为应用于最小二乘问题的随机梯

度下降（SGD）方法的一个变体[28,36,39]。详见Section2。虽然典型的SGD迭代使

关键词：线性系统，随机重排，Kaczmarz方法，最小范数解，收敛速度

数学主题分类（2020）：65F10,65F20,90C25,15A06,68W20

1

2DERENHANANDJIAXINXIE

用无放回抽样来选择随机梯度，但一个特别有效的变体采用无放回抽样，也称为随机重排

（RR）[1,24,30,44]。这种采样方案引入了统计依赖性并消除了SGD内在的无偏梯度估计属

性，从而使其理论分析变得复杂。尽管存在这些挑战，RR在许多实际应用中被实证证明优

于原始的SGD[4,15,34,41]，这在一定程度上归因于随机重排采样方案实现的简单性和高

效性，以及RR利用了每个周期内的所有样本。

将RR方案应用于最小二乘问题会导致随机重排Kaczmarz（RRK）方法。然而，由于对

RR本身的理论理解主要限于期望复杂度界和几乎必然的渐近收敛结果[6,18,24,30,33,37]，

现有的RRK收敛分析要么仅关注平均情况，或者需要目标函数强凸性的额外假设。有关这

些结果的更详细讨论和见解，请参见第3.2节。因此，一个有趣的问题出现了：是否可能进

行一种不依赖于当前RR方法收敛框架的RRK方法收敛性