自适应信号处理6.ppt

2004年7月4日，哈尔滨 采用LMS算法的ALC 换种形式表示 如果 未知，此关系式可以用来辅助设计自适应系统。 经验表明：当各特征值不相等时，此式也是 M， 和 L+1 之间关系的一个好的近似表达式。 当所有特征值都相等时： 各特征值都相等时。 建立时间 定义：4倍于自适应学习曲线时间常数的时间。 定义：自适应瞬态过程消失，进入稳态的过程。 一般情况下，M = 10% 等于10倍的横向滤波器的存储时间，就可以满足M = 10%的要求. 建立过程 * 第6章 LMS算法 Chap.6 The LMS Algorithm 本章，建立广为应用的算法理论 —— LMS算法 ⊙ 随机梯度算法中一个重要组成部分 ⊙ 简洁，不需要知道 不需要在线或离线估计梯度 1． LMS算法 理论上， 实际中， 用最速下降法可以收敛到最佳的维纳解。 其最简单的估计就是瞬时估计。 必须估计 第k个采样时刻的估计 梯度估计 或者， 用瞬时平方误差 求梯度 最速下降类型的算法 LMS算法 LMS算法 2. 权向量的收敛性能 ？用单次估计代替平均值是否合适 这是最关心的一个问题 无偏性证明 首先证明 是无偏的 在每次权向量上， 不变 k 代表在某次迭代上，取多个采样 在每次迭代上，随着采样次数的增加，梯度的单次估计逼近理想梯度值 权向量的收敛性（1） 分两种情况考虑 1） 在每次迭代上，对每个采样数据估计一个梯度，得到多个估计值后再调整一次权值。 梯度估计无偏 对应的算法收敛 这样得到的 是逼近 的 2） 在每次迭代采样数据上得到的梯度都用来修正权向量。 ？是否收敛 将证明，经充分迭代后， 权向量的收敛性（2） 可以看出， 仅是过去时刻的输入向量的函数，如果仍然假设输入向量之间在时间上是相互独立的，则有 相互独立 相互独立 那么 权向量与输入向量的相互独立性 变换到主轴坐标系，并求其解： 若使上式收敛，必须有： 可见，经充分迭代后，LMS算法是收敛的 — 一般地 不再求特征值 对于横向滤波器，有：tr[R]=(L+1)信号功率 算法收敛条件 3. 收敛性的例子 信号采样之间相互独立 输入相关矩阵的各元素为： 得到： 类似地： 求解可得： 得到第二章的结果 此时： 在迭代过程中，梯度估计是带噪的，因此权向量的调整带漂移性，其运动轨迹不是真正的负梯度方向。 需要的迭代次数 继续搜索下去， 带噪的权向量解. 使用LMS算法，典型地取 为其上界的1/10量级 误差信号 4. 学习曲线 时间常数 —— 参考最速下降法的学习曲线分析 权值的公比： 权值的时间常数： 学习曲线的时常数： 自适应的时常数： 1）N=1，每次迭代只测一次 2）(L+1)的作用？ 自适应的时间常数 梯度估计 直接由误差和输入信号得到，不需偏移权向量！ 不会出现L+1个测量点，也不会出现扰动P，但失调M还是存在的。 即，第一个模态 ，只需5次迭代就消失了 第二个模态 ，则需104次迭代消失 ？？这是计算值（理论值，预测值） 实际中是否与此一致？ 数例中的学习曲线 双权 双模态 对于前例，500次平均得到较为光滑的学习曲线，由斜率不同的部分组成 实际的时间常数 初始点 k = 0（t = 0）： 函数值下降到初始值的1/10时，k = ? 实际时间常数的计算 以第一个模态为例，理论时间常数为 需要经过 次迭代，学习曲线下降1/10 对于模态1， 从图中可以看出，下降到1/10时，需要13次迭代。 对于模态2， 从图中可以看出，下降到1/10时，需要265次迭代。 ☆ 实际值比理论值稍大，估计值含有噪声所致 5次 104次 的物理意义 使函数值下降到初始值的1/e时所需的时间即为时间常数 ★ 的实际值比理论值大些。 考虑接近 时的情况，有 LMS算法的性能分析 权向量解的噪声 噪声向量的协方差 主轴坐标系中， 按最速下降法的公式： 平移坐标系中， 权向量的协方差 失调 一般tr[R]是已知的，可根据对M的要求，选择一个合理的 *