递推最小二乘法详解.docVIP

线性方程组的最优求解方法 一．递推最小二乘法 设线性方程组 (1) 则有 , () (2) 其中，。 设 (3) 下面采用基于最小二乘法的神经网络算法来训练权值向量，以获得。由式（3）可知，若以为神经网络为神经网络训练样本，为神经网络权值向量，为神经网络向量，神经网络，其算法如下： （1）神经网络输出： (4) （2）误差函数： (5) （3）性能指标： (6) （4）使的权值向量，即为所求的神经网络权值向量，这是一个多变量线性优化问题，为此，由 可得最小二乘递推法： (7) (8) (9) 随机产生初始权值向量，设（是足够大的正数（一般取），是单位矩阵），通过对样本数据训练，即可获得神经网络权值向量，。 (10) (11) (12) 式中，，为加权对角阵： （，）。 几点说明： 当时，该估计公式组为基本递推最小二乘算法； 的选择范围一般在：。当参数变化快时，取小点；变化慢时，取大点； 三．共轭梯度法及其应用 设线性方程组，则有 给定初始近似，取 对计算： ，且 。 几点说明： 应用共轭梯度法求解实对称正定线性方程组，不必事先估计方程组的系数矩阵的特征值的上、下界，不需要选取任何迭代参数，使用方便。而且，它的收敛速度较快，对于非坏条件问题，一般来说，所需的迭代次数远小于矩阵的阶数（如果计算过程中没有舍入误差，理论上，最多迭代步便可得到方程组的准确解。如果矩阵只有个相异的特征值，则共轭梯度法至多进行步迭代，便可得到方程组的准确解）。因此，共轭梯度法目前已得到较为普遍应用。特别对于解大型稀疏矩阵的线性方程组，它是一个有效的方法。 共轭梯度法适用于为对称正定矩阵的情形。对于为非对称矩阵的情形，可将线性方程组化为，此时，设为非奇异，则为对称正定矩阵。 【应用实例】用共轭梯度法对信号进行滤波处理，模型如下 ，. 其中，。 与DTFT的区别： 。 当矩阵的条件数较大时，各种计算方法的收敛速度都会很慢。因为求解线性方程组的收敛速度通常与矩阵的条件数有关，即： ，其中是近似解，是精确解，是剩余向量。 特别是当矩阵的条件数很大时（很怀条件），却会发生这样的情况：相当精确的解，其剩余向量并不小；不精确的解，反而其剩余向量却很小。由此可见，对于很坏条件线性方程组而言，从剩余向量的大小不能说明相应的近似解精确与否。为此，国外学者提出了改善矩阵条件数的方法。 四．改善矩阵条件数的方法 4.1 条件预优方法 设线性方程组 (13) 的系数矩阵是对称正定的。将线性方程组化为等价的方程组： (14) 其中 (15) 和仍然是对称正定的，但条件数不大。这样就很容易由共轭梯度法求解线性方程组(14)和(15)，这就是条件预优处理的思想。怎样确定对称正定矩阵、和？方法如下： 我们将矩阵分裂成：，其中，（条件预优矩阵）为对称正定矩阵，则存在对称正定矩阵使得 (16) 用左乘方程组(13)的两端得 或写成 设 ， (17) 则 (18) (19) 我们可以用共轭梯度法求解线性方程组(18)，得到，然后解方程组(19)即可得到方程组(13)的解。 条件预优共轭梯度算法如下： ，， ，且 。 上述算法的关键问题是如何确定对称正定矩阵？主要方法如下： 方法一 (20) 其中 （对角矩阵），, （准下三角矩阵） 设 (21) 则