[工学]随机信号处理4.pptVIP

最小二乘自适应滤波 线性向量空间(Linear Vector Space) 矢量空间分析和矩阵运算是一种重要的数学手段，在理论分析和工程设计、开发中具有非常重要的地位。 在矢量空间中最重要、最常用的是线性矢量空间。 矢量和矩阵的常用计算方法和规律对信号处理计算、算法分析和化简等起着重要而基础的作用。 利用线性向量空间及其运算方法可以使最小二乘问题的研究、分析简化，而且可使表述更直观。 线性向量空间的定义(The Definition of Linear Vector Space) 定义：一个集合U，如果它的任意元素x、y、z满足以下条件，则集合U张成线性矢量空间{U}： 最小二乘自适应滤波 U中有加法和数积两种运算。即若k为任意数，而且有： x,y?U，x+y?U，kx?U U中加法满足交换律和结合律，即： x+y=y+x，(x+y)+z=x+(y+z) U中一定包含零元素0，使?x?U， x+0=x 对?x?U， 存在对应的负元素（逆元素）-x，使得x+(-x)=0 数积满足分配律和结合律： K(x+y)=kx+ky，(k+l)x=kx+lx，k(lx)=(kl)x 数积存在单位元素“1”，即有： 1?x=x 欧几里得空间几何结构(The Geometric Structure of Euelid Space) 最小二乘自适应滤波 欧几里得空间是最常见的线性空间，其几何结构可由矢量内积导出： 设x,y?Rn为n维欧几里得空间{Rn}中的矢量： x=[x1,x2,?,xn]T，y=[y1,y2,?,yn]T 两者内积定义为： 矢量x的长度： 两矢量x与y之间夹角?取决于： 即： 最小二乘自适应滤波 两矢量x与y相互正交指： 内积空间(The Space of Inner Product) 定义了内积运算的线性空间称为内积空间。设{U}为内积空间，x、y、z为U中的任意元素，a为任意数，满足如下性质： ?x,y?为一标量； ?x,x??0，当且仅当x=0时， ?x,x?=0 ?x,y?=?y,x? ?ax,y?= a?x,y? ?x+y,z?= ?x,z?+ ?y,z? 希尔伯特空间(Hilbert Space) 最小二乘自适应滤波 定义：具有完备性的内积空间称为希尔伯特空间。 完备性：在空间中不存在可以任意接近该空间，但不属于该空间的元素。 欧几里得空间是完备空间，自适应滤波所涉及的空间都是希尔伯特空间。 子空间(Subspace) 定义：线性空间中的一个子集，在原空间定义的运算下，若也形成了一个空间，称该子集为该空间的子空间。 相互正交的子空间(Orthogonal Subspaces) 定义：若分别从两子空间{U1}、{U2}中任取一矢量均相互正交，则称该两子空间是相互正交的。 两子空间之和(The Sum of Two Subspaces) 由子空间{U1}和{U2}的矢量的所有线性组合张成的空间称为两子空间之和，记作{U1?U2} ，或{U1U2} 。 最小二乘自适应滤波 投影与投影矩阵(Projection And Projection Matrix) 投影(Projection) 希尔伯特空间中，对任意矢量x而言，子空间{U}中距x最近的矢量PUx为x在{U}中的投影。 距离定理(Distance Theorem) 设PUx为x在{U}中的投影矢量，y为{U} 中不为PUx的任意矢量，则有： ??x-Pux????x-y?? 投影定理(Projection Theorem) 给定希尔伯特空间中的子空间{U}和矢量x，在{U}中必有唯一矢量PUx，使得对{U}中任意矢量y均有： ?x-PUx,y?=0 PUx称为x在{U}中的投影矢量。 最小二乘自适应滤波 定理：若{U1}、{U2}为希尔伯特空间{H}中的两相互正交的子空间，则对{H}中的任一矢量x有： PU1U2x=PU1x+PU2x 即当子空间相互正交时，矢量在子空间和上的投影等于在各自子空间上的投影之和。 投影矩阵(Projection Matrix) n维欧氏空间的投影矩阵(The Projection Matrix in n Dimensions Euelid Space) 在欧氏空间中，x在矢量u上的投影可写作： Pux=?u 由投影定理： ?x-Pux,u?=0 可得： 最小二乘自适应滤波 ?x-Pux,u?=?x-?u,u?=?x,u?-??u,u?=0 所以有： 这样， Pux可写作： Pux=u(uTu)-1uTx 即Pu可写作：