LMS类自适应算法参考文档.pptVIP

LMS 类自适应算法 11 电工 樊辉 1 2 自适应算法的提出 个人理解：传统系统设计均是在某种情况下按 照某些特定参数推导得出，是系统设计完成后运行 在该类特定情况效果最佳。系统一旦发生某些参数 变化，则系统输出效果一般会明显变差。诚如 PID 这 类控制系统中使用最广最常用的控制算法，也只具 有一定的鲁棒性。提出自适应算法，通过某些系统 参数的在线学习，适应改变的系统，优化系统性能， 就显得有必要了。 2 2020/4/7 自适应实现在滤波器中的引入 自适应实现： N 阶 FIR 滤波器的抽头权系数可以 根据估计误差 e(n) 的大小自动调节，使得某个代价 函数最小。 3 2020/4/7 自适应实现在滤波器中的引入 MMSE 准则是滤波器设计最常用的准则。故在设计 中采用均方误差为代价函数： 之前最优滤波理论中可知，代价函数相对于滤波器 的抽头权向量 w 的梯度为： 则对应的梯度向量为： 2 2 ( ) {| ( ) | } {| ( ) ( ) | } H J n E n E d n w u n ? ? ? @ ( ) 2 { ( ) *( )} 2 { ( )[ ( ) ( )]*}, 0,1, H k J n E u n k e n E u n k d n w u n k ? ? ? ? ? ? ? ? ? … ,M-1 0 0 1 1 0 1 1 1 1 ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) [ ( ), ( ), , ( )] ( ) ( ) ( ) ( ) T M M M J n J n j a n b n J n J n j a n b n J n J n J n J n J n J n j a n b n ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? @ M … 4 2020/4/7 自适应实现在滤波器中的引入 在导出梯度向量后，再定义： 则式 3 可改写为向量式： 式中， 0 1 1 ( ) [ ( ), ( 1), , ( 1)] ( ) [ ( ), ( ), , ( )] T T M u n u n u n u n M w n w n w n w n ? ? ? ? ? ? L L ( ) 2 { ( )[ *( ) ( ) ( )]} 2 2 ( ) H J n E u n d n u n w n r Rw n ? ? ? ? ? ? ? { ( ) ( )} { ( ) *( )} H R E u n u n r E u n d n ? ? 5 2020/4/7 自适应实现在滤波器中的引入 使用中最广泛的形式是：“下降算法” 式中， w(n) 为第 n 步迭代（即时刻 n ）的权向量， μ(n) 为第 n 次迭代的更新步长，而 v （ n ）为第 n 次迭代的 更新方向。 依据下降算法的两种主要实现方式，分为自适应梯 度算法和自适应高斯 - 牛顿算法。 下面主要讲：自适应梯度算法，其包括 LMS 类自适 应算法 ( ) ( 1) ( ) ( ) w n w n n v n ? ? ? ? 6 2020/4/7 LMS 算法及其基本变型 自适应梯度下降算法中，更新方向向量 v(n) 取 自第 n-1 次迭代的代价函数 J[w(n-1)] 的负梯度，即统 一形式为： 其中，系数 1/2 是为了使得到的更新公式更简单。将 更新公式中的部分用之前结论带入，既得抽头权向 量 w(n) 的更新公式为： 由更新公式式 9 得到： 1 ( ) ( 1) ( ) ( 1) 2 w n w n n J n ? ? ? ? ? ? ( ) ( 1) ( )[ ( 1)], 1, 2, w n w n n r Rw n n ? ? ? ? ? ? ? L 7 2020/4/7 LMS 算法及其基本变型 （ 1 ） 为误差向量，代表了抽头权向量的校 正量； （ 2 ）参数 μ(n) 称为在时间 n 的“步长参数”，决定 了更新算法的收敛速度； （ 3 ）当自适应算法趋于收敛是，有 ， 即抽头权向量收敛为之前所说的 Wiener 滤波器。 [ ( 1)] r Rw n ? ? 1 0 lim ( 1) n w n R r ? ? ? ? ( 1) 0 r Rw n ? ? ? n ? ? 8 2020/4/7 LMS 算法及其基本变型 在式 6 中，将数学期望分别用相应的瞬时值代替，便 得到了瞬时梯度： 进而，将真是梯度向量用瞬时梯度向量代替，既得 瞬时梯度算法： 式中， 式 11 ，即为最小均方差自适应算法，简称 LMS 算法。 易证：瞬时梯度向量是真