最小二乘法之投影法.pptVIP

最小二乘法之投影法 郑丽娟 201910222 1 最小二乘法的表示形式 最小二乘法是求解最优化问题的一种有效而方便的方 法。信号处理中有许多问题可归结为最优化问题，因此最 小二乘法是信号处理的重要工具之一。 希尔伯特空间中线性逼近问题的求解方法称为最小二乘法。通常它有三种不同的表现形式：投影法、求导法和配方法。今天我要讲的是投影法。 在讲投影法之前我们先来了解一下什么是投影定理。 1.1 投影定理 本节讨论内积空间中的最佳逼近问题 先考虑一个简单的例子，在三维空间R3中，给定一个平面M和点x（x在M 外），要求在M上找一个点m,使得x到m0的距离是x到M上每一点的距离中最小者。用数学语言表达，就是求m0∈M，使得 ||x-m0||=min||x-m|| (1-1-1) 或者说，求m0∈M满足下列不等式： ||x-m0||≤||x-m|| 对任意的m∈M（1-1-2） 这个问题时很容易理解的，如下图1-1所示： 图1-1 R3中的投影定理 m0应取为x在M上的投影。其特征是:x-m0⊥M，这个结论可以推广到一般的内积空间。 投影定理 设X是内积空间，M是X中的子空间，x∈X, 但x?M，则m0∈M。满足式(1-1-1)或者（1-1-2）的充分必要条件是 （x-m0)⊥M (1-1-3） 式(1-1-3)的含义是，对任意的m∈M，均有 （x-m0,m)=0 (1-1-4) 满足式（1-1-3）的m0∈M称为x在M中的投影。 证明：设m0是x在M中的投影，即m0满足式（1-1-3），则对任意的m ∈M，有 此式即（1-1-2）。 反之，假定式（1-1-3）不成立，即有某一m∈M,它与x-m0不正交，不妨设||m||=1。设（x-m0,m)=c≠0。 令m1=m0+cm,则 表明m0不满足式（1-1-2），所以x-m0与m垂直，证完。 满足式（1-1-1）或式（1-1-2）的m0称为x对于M的最佳逼近元。投影定理表明；在 内积空间中，一个元素对于子空间M的最佳逼近元就是此元素在该子空间中的投影。 例：求矛盾线性方程组的最小二乘解 设A为m×n矩阵，x为n维向量，b是m维向量，则 Ax=b (1-1-5)是n个未知数，m个线性方程组的矩阵向量表示。若A的列向量为a1,a2...an; A=[a1,a2...an]则式（1-1-5）又可写为 （1-1-6） 此式表明，线性方程组（1-1-5）有解的充分必要条件是向量b能表为向量a的线性方程组合，换句话说就是 b∈span{a1,a2...an} (1-1-7) 记号span{a1,a2...an}表示向量组a1,a2...an张成的子空间组。 现在设b?span{a1,a2...an} 。则式（1-1-5）成为矛盾方程组。 所谓求解矛盾方程组（1-1-5），就是求解x=[x1,x2...xn]T, 使得 （1-1-8） 也就是求解向量b在子空间span{a1,a2...an}中的解b0，然后求解相容方程组 ，即 Ax=b0 (1-1-9) 根据投影定理b0应满足b0-b⊥span{a1,a2...an}，即矛盾方程的最佳解=[x1,x2...xn]T应满足 j=1,...n (1-1-10) ||Ax-b||=|| ||=min 此即 （1-1-11） 此式等价于 ATAx=AT b (1-1-12) 这就是所求的解x[为矛盾方程组的最小二乘解]应满足的关系式称为