正则化参数λ.docxVIP

正则化参数λ或者α如何选择？1Tikhonov（吉洪诺夫）正则化投影方程Ax=b（1）在多种正则化方法中，Tikhonov 正则化方法最为著名，该正则化方法所求解为线性方程组众多解中使残差范数和解的范数的加权组合为最小的解：（2）式中表示向量的 2 范数平方；λ称为正则参数，主要用于控制残差范数与解的范数之间的相对大小； L 为正则算子，与系统矩阵的具体形式有关。Tikhonov 正则化所求解的质量与正则参数λ密切相关，因此λ的选择至关重要。确定正则参数的方法主要有两种：广义交叉验证法和 L-曲线法。（1）广义交叉验证法（GCV，generalized cross-validation）广义交叉验证法由 Golub 等提出，基本原理是当式Ax=b的测量值 b 中的任意一项被移除时，所选择的正则参数应能预测到移除项所导致的变化。经一系列复杂推导后，最终选取正则参数λ的方法是使以下 GCV 函数取得最小值。（3）式中表示系统矩阵的转置； trace 表示矩阵的迹，即矩阵中主对角元素的和。（2）L-曲线法（L-curve Method）L-曲线法是在对数坐标图上绘制各种可能的正则参数所求得解的残差范数和解的范数，如图1所示，所形成的曲线一般是 L 形。图1 L 曲线示意图L 曲线以做图的方式显示了正则参数变化时残差范数与解的范数随之变化的情况。从图中知道当正则参数λ取值偏大时，对应较小的解范数和较大的残差范数；而当λ取值偏小时，对应较大的解范数和较小的残差范数。在 L 曲线的拐角（曲率最大）处，解的范数与残差范数得到很好的平衡，此时的正则参数即为最优正则参数。另外一种方法Morozov相容性原理是一种应用非常广泛的选取策略，它是通过求解非线性的Morozov偏差方程来得到正则化参数。投影方程Kx=y考虑有误差的右端观测数据满足，Tikhonov正则化方法是通过极小化Tikhonov泛函。来得到正则化解，其中，为正则化参数。当时，泛函在空间X上存在唯一的极小元，且该极小元恰为方程的唯一解，其中，：为算子的伴随算子。Morozov相容性原理选取正则化参数是通过保证正则化解满足方程来实现的。