15最小二乘自适应滤波.ppt

3.4.3 线性矢量空间 1.基本概念 （1） 维矢量空间 设 是由 个基本列矢量 组成的数据矩阵: 由这个 列矢量 作为基底矢量张成的空间,称为 维矢量空间,用 表示. 因此: 基本矢量是指这些矢量相互独立且正交. 矢量——对应于一组数据. 空间——对应于一个(数据)矩阵. 空间的维数——指用来张成该空间的最少矢量个数. 线性矢量空间——由若干个矢量 的线性组合得到的空间. （2）子空间 用少于某空间维数的矢量张成的空间, 称为子空间. 例如: 设矢量 ——张成空间 ; ——张成空间 若 张成空间 , 则 , 都是 的子空间. （3）正交子空间 设 , 是两个子空间上的任意矢量, 若 和 的内积满足 (3.4.41) 则称这两个子空间相互正交. （4）投影矩阵 定义： 设 表示一个数据矩阵或数据矢量, 由 张成的空间记为 , (3.4.42) 则称 为在 上的投影矩阵(或投影算子). 若 是一个 维矩阵,则 是一个 方阵.作用： 的作用是将一个矢量 投影到矢量空间{U}中。 如图3.4.4：设 是由矢量 张成的一维子空间,则 矢量 在 中的投影，可用该矢量 与矢量一加 权矩阵 相乘来表示，即 。 ☆加权矩阵 ——称为投影矩阵； ☆ ——称为在中的投影矢量； ☆ ——称为误差矢量，记为 。 显然，误差矢量 与矢量 (即子空间 )正交。 或者说，由矢量 张成的一维子空间 与子空间 正交。这时，对 中的任意矢量 ， 均满足 (3.4.43) 上式表明：对一个 维线性空间 进行分解, 采用正交分解法, 可以 得到一组相互正交的子空间. （5）投影定理 若 , 为希氏空间 中的相互正交的子空间, 那么, 对 中的 任一矢量 , 均满足 (3.4.44a) 即当子空间相互正交时, 矢量在子空间和上的投影等于在各子空间上 投影之和. 由上式可进一步得 (3.4.44b) （6）正交投影矩阵 由图3.4.4可知, 子空间 与子空间 正交，称 为的正交子空间。 定义： 误差矢量 是矢量 在 的正交子空间上的投影(即正交投影), 记为 ，称为正交投影矢量；称为正交投影矩阵。 作用： 正交投影矩阵 的作用，是将一个矢量x投影到与矢量空间{U}正交的子空间中。 正交投影矩阵 与投影矩阵 之间关系： 因有 所以 (3.4.45) 2.数据矢量的扩充与投影矩阵的更新 （1）数据矢量的扩充 研究一个新矢量 增加到 中, 形成新数据矩阵为 , 由此张成 空间 , 相应的投影矩阵和正交投影矩阵分别为 和 . 显然, 反映了由于矢量 的增加, 投影矩阵的变化( 亦同). 这种变化可表示 为 上式相当于对数据矩阵 进行分解。 令修正项等于 (即为矢量 的投影矩阵), 它等于 与 之差, 称为“误差项”。根据投影定理，采用正交分解法, 应有(参见式3.4.44b)： (3.4.46) 若由矢量 张成的空间为 ,则 与 正交, 这意味着 是 在 的正交子空间 上的投影, 即 (3.4.47) 在空间 上的投影矩阵为 (3.4.48) （2）投影矩阵的更新 由于增加新的矢量 , 使数据矩阵由 变为 , 根据式(3.4.46)和 式 (3.4.48), 得到: 投影矩阵更新公式： (3.4.49) 正交投影矩阵更新公式： (3.4.50) 3. 抽取参量与角参量 （1）抽取参量 ●定义与作用 为抽取一个矢量中的最新时刻的分量，引入抽取参量 (也称“单位 时间矢量”或“现时矢量”), 定义为 (3.4.51) 可见, 抽取参量 是一个沿第 个坐标轴方