现代信号处理03-自适应信号处理20101109.pptVIP

第三章 自适应信号处理 周围 自适应滤波基本原理 自适应滤波基本原理（续） LMS滤波器（续） LMS算法的改进 LMS算法的改进（续） LMS算法的改进（续） RLS自适应滤波器 基本思想 RLS算法 RLS滤波算法与Kalman滤波算法 而且可以证明LMS自适应滤波器的权向量收敛于维纳解： (5) 算法收敛性 前已指出，瞬时梯度向量是真实梯度向量的无偏估计： 条件是 LMS算法还必须兼顾收敛速度和失调,它来自梯度估计误差: ? 若 自适应产生，则称为自适应步长的LMS算法 LMS算法的几种变形 ? 若 常数，则称为基本LMS算法 ? 若 , 则称为归一化LMS算法 结论：这些算法通常称为LMS类算法－梯度算法。 从LMS算法导出牛顿法 前面已导出维纳最优解为 它由梯度 得出，其中 用 左乘上式两边, 并将结果代入维纳解公式, 得 写成更一般的迭代形式(即牛顿迭代公式)： 从LMS算法导出牛顿法（续） 上式可写成更一般的迭代形式： 这就是所谓牛顿法基本迭代式。其中 称为牛顿方向。 统一算法 LMS法与牛顿法可统一为更一般的下降算法: 取不同的 就构成不同的自适应算法。 内 容 正交性原理 Wiener滤波器 梯度下降算法 横向LMS自适应滤波器 横向RLS自适应滤波器 Kalman滤波器 自适应格型滤波器 盲自适应滤波器 自适应滤波器的应用 * * 内 容 梯度下降算法 横向LMS自适应滤波器 横向RLS自适应滤波器 自适应格型滤波器 盲自适应滤波器 自适应滤波器的应用 参数可调数字滤波器 自适应算法 Σ + _ y(n) 参考信号d(n) e(n) 自适应滤波器原理图 x(n) 输入 输出 自适应FIR滤波器： 定义输入向量 输入信号： 输出信号： 期望信号（参考信号或训练信号）：d(n) 抽头权矢量： 输出误差信号： … … … + - + Σ 自适应算法 最优权矢量： 均方误差性能曲面及其性质 输入信号的自相关矩阵： 互相关矩阵 与FIR维纳滤波器的最优解一致。 均方误差函数（代价函数） 几何意义 对二维实加权情况： 均方误差性能函数： 为求得等高线令 均方误差性能曲面 均方误差性能曲面的等高线 定义输入向量 输出信号： 复加权矢量： 输出误差信号： 定义输入向量 其中空间自相关矩阵： 最优加权矢量： 互相关矩阵 最陡（梯度）下降算法 梯度的数学表示： 相对于 向量 的梯度算子记作 ，定义为 因此，一个实际量函数 相对于一列向量的梯度为 最陡（梯度）下降算法（续） 梯度的几何特征 梯度的每个分量给出了标量函数在该分量方向上的变化率。 梯度的重要性质 指出了当变元增大时函数的最大增大率。相反，梯度的负值（简称负梯度）指出了当变元增大时函数的最大减小率。这一性质是梯度下降算法的基础。 极小化 取负曲率方向作搜索方向 取负梯度作目标函数的更新方向。 定理：令 是实向量 的实值函数。将 视为独立的变元，实目标函数 的曲率方向由梯度向量 给出。 最陡（梯度）下降算法 梯度下降算法的迭代过程： 近似解在迭代过程中的校正量与目标函数的负梯度成正比。上式称为优化问题近似解的学习算法；常数 称为学习步长，它决定近似解趋向最优解的收敛速率。 梯度： 故 坐标平移 最陡（梯度）下降算法 坐标旋转去耦合 由初始权向量迭代可得： （变量间无耦合） 或表为 因为 最陡（梯度）下降算法 若满足： 实际常用（保守的）收敛条件： 则有： 则有： 或 最陡（梯度）下降算法（续） 过渡过程 令： 则 其中权向量时间常数 （1）权向量过渡过程 （2）均方误差过渡过程 其中均方误差时间常数 最陡（梯度）下降算法（续） （3）特征值分散对过渡过程的影响 均方误差和权矢量的分量均按M个不同时间常数 的指数函数之和的规律变化。收敛速度主要取决于最慢的指数过程，相应时间常数： 为了保证收敛，步长 ，故有： 当特征值分散性大（条件数大）时，算法最陡下降法收敛性很差。 最陡（梯度）下降算法（续） 梯度下降算法（续） （4）步长μ对过渡过程的影响 步长 μ 必须