Kalman滤波LMS算法RLS算法清华大学现代信号处理的讲义.pptVIP

Kalman 滤波问题 (一步预报)： LMS算法的改进 归一化 LMS (NLMS) 算法 解相关 LMS 算法 习 题 题4.16 (Kalman滤波) 题4.19 (Kalman滤波) 题4.20 (LMS算法) * Kalman滤波器 状态空间方程： 状态(转移)方程 观测方程 已知: 假设: 已知含噪数据 ，求 无噪声的估计值: 新息方法： 新息 (innovation) 称 为 的新息过程向量。 性质1: (正交), 是不同于 的新过程 性质2: ， 是个白噪声过程 性质3: （一一对应关系) 保留有 的所有信息 估计 状态向量估计误差： 相关矩阵： ：Kalman 增益矩阵 校正项 ：Kalman 增益矩阵 ：Kalman 新息 例： 是一个时不变的标量随机变量， 为 观测数据,其中 为白噪声。若用 Kalman 滤波器自适应估计 ，设计 Kalman 滤波器。 设计过程：⑴ 构造状态空间方程；⑵ 设计x(n)的更新公式 状态方程 观测方程 4.4 LMS自适应算法 随机优化问题 LMS: Least Mean Squares Wiener 滤波器: 最陡下降法 真实梯度 最陡下降法的改进: 牛顿法: 确定性优化 也称随机逼近最优化。求解的方法称为随机逼近方法。 后验估计误差： 先验估计误差： 梯度向量 维纳滤波器： 缺点：真实梯度含数学期望，不易求得。 梯度下降算法： 真实梯度 步长参数, 学习速率 改进： 梯度估计 瞬时梯度： 先验估计误差 基本的LMS算法： 最陡下降法 LMS算法 渐近无偏估计 瞬时梯度分析： 均值收敛： 均方收敛： 梯度下降法要求不同时间的梯度向量(搜索方向)线性独立。 LMS算法的独立性要求： 代入上式，可得 其中 若 的所有对角元素绝对值1，即 则极限 (等比级数求和) 结论： (均值收敛条件) 均方收敛条件： 收敛为维纳滤波器，且收敛与初始值w(0)选择无关 由于迹 ，故两条件可合并为 和极限 均方收敛 均值收敛 偏小 收敛慢 跟踪性能好 缺点： 偏大 收敛快 跟踪性能差 ⑴ 固定学习速率： (常数) 自适应学习速率参数 ⑵ 时变学习速率： (递减)，模拟退火法则 ⑶ “换档变速”方法：固定+时变 例1. (先搜索，后收敛) ⑷ 自适应学习速率：“学习规则的学习” 例2. (先固定，后指数衰减) 和 正的常数 时， 比 合理 4.5 RLS算法 √ × 矩阵求逆引理： 增益向量 即 RLS算法： 非平稳， R(0), 越小越好 统计性能分析： 权误差向量 权误差向量的相关函数矩阵 均方误差 最小均方误差 剩余均方误差 当 时，称 为稳态剩余均方误差 算法的收敛速率 算法的跟踪性能 LMS、RLS、Kalman滤波算法的统计性能比较： ⑴ 均方误差曲线 跟踪能力越好，曲线稳态越接近横