最小二乘的求解及简化分析.ppt

最小二乘的求解及简化 主要内容 1、最小二乘问题的求解 2、QR分解求解最小二乘问题 3、QR分解的几种典型方法 3.1 Gram-Schmidt正交化 3.2 Givens旋转 3.3 Householder反射 3.4 QR分解中的物理意义 4、CORDIC高效实现Givens旋转及硬件中的应用 4.1 CORDIC算法实现Givens旋转 4.2 SFG 表示的CORDIC实现QRD 4.3 QRD剩余提取的 CORDIC实现 4.4 多通道的QRD-RLS算法来实现误差提取 1、最小二乘估计的矩阵形式 令代表接收到的信号矢量，定义为： 根据接收到的矢量序列 ，构造一 个 数据矩阵 ，定义为 1、最小二乘估计的矩阵形式 其中矢量 ，是 的列矢量， 即 ， 同时定义参考信号为 。 通过对信号矢量 的一个线性加权组合可以得到对理想信号 的一个估值。所以， 定义误差为 1、最小二乘估计的矩阵形式 最小二乘估计问题可以表述为，给定一组观测矢量组 确定出系数矢量 ，使加权误差幅度平方和 最小。 用矩阵表示误差矢量为 1、最小二乘估计的矩阵形式 使加权误差幅度平方和最小，即使 最小。 故可以求得最优系数矢量的解为 在考虑遗忘因子矩阵为单位矩阵时，上面的最优系数矢量解 可以简化为 定义 至此，最小二乘问题就转化成了矩阵求逆的问题。 2、QR分解 定理：对任意矩阵A，其中NM，总存在一个正交矩阵Q，使得 其中R是一个上三角方阵，O是一个零矩阵。所以，R的形式为 2、QR分解 为了利用QR分解来求解正规方程，可以把方程写成 如果Q和R形成了数据矩阵的一个QRD，可以把上式表示成 定义Qd的分块形式为 2、QR分解 则 所以QR分解把正规方程简化为等价形式 易知,Q不用显式的计算出来,这样硬件实现的时候就不需要耗费存储器。 3、解决QRD分解的三种典型方法 3.1 Gram-Schmidt正交化 3.2 Givens旋转 3.3 Householder反射 3.4 QR分解中的物理意义 3.1 Gram-Schmidt正交化 Gram-Schmidt正交化是典型的数学技术用于从一组线性独立的矢量构造出相互正交的矢量。 根据一组给定的M个线性独立矢量 ，构造出一组M个相互正交的矢量 ，使得对于 ，集合 张成和 相同的k维线性子空间。 3.1 Gram-Schmidt正交化 具体实现的方法是利用 和前面已经确定出的矢量 ，来确定 ，过程如下 其中 3.1 Gram-Schmidt正交化 这样处理使得 和 是正交的，即 由于 并不具有单位长度，所以 不是归一化矢量。可以通过使 中的每个矢量除以其长度，得到一个标准正交矢量组 其中 3.1 Gram-Schmidt正交化 在对数据矩阵A的分解时,可以证明: 其中 3.2 Givens旋转 考虑一个二元素矢量