自适应信号处理第四章.pptVIP

第4章 性能表面的搜索 Chap.4 Searching the Performance Surface 牛顿法学习曲线 作业： 每一个分量都有一个需要满足的步长要求。 选择其中为苛刻的条件 ： 即可使所有分量都收敛。 最速下降法搜索过程 主轴方向上有不同但各自恒定的公比 两次迭代之间，各主轴上经过的距离之比相等 * * 当输入的期望响应均为统计平稳过程时，ALC的均方误差性能表面是权向量的二次函数，但在多数实际运用的场合中， 的参数是未知的，即得不到 的解析表达式。 因为：不能用Wiener方程来直接得到最佳解 所以：只能用搜索的方法来寻找 为什么要进行梯度搜索？ 梯度搜索法的基本思想（1） 用梯度来指明 的最小值所在的方向 梯度搜索法 梯度搜索法的基本思想（2） 以单权为例， 单权时， 其中： 过程：从 开始，测该点的梯度（斜率） ，选一个 的新值，使她等于 加上一个正 比于斜率的增量，得到 ，测 处的斜率 一直到梯度为零处，过程停止。 使用的是负梯度-------“下山” (downhill)法 Gradient Search 一个简单的梯度搜索法 将上述思想用数学方式表达出来 ： 常数，控制收敛速度和稳定性 在搜索的每一步上，wk 的取值？ 等比级数 采用归纳法 等比级数求和 算法的性能分析 — 稳定性 为使 收敛于 i） 是正值，否则会使搜索方向发生变化- ? 不收敛 ii） 有上限取值，输入信号能量越大， 可得： 稳定性 在算法收敛的前提下，r 取值的大小决定了收敛速度 算法的性能分析 — 收敛速度 不稳定 收敛速度 ! ! 希望0r1 越小越好，r =0 最好 ?? 能否做到，是否真的最好 学习曲线 （learning curve） 定义： 随 k 的变化曲线 自适应过程是一个学习过程，用学习曲线描述学习“效果” 用 表示学习曲线的公比 说明什么问题？ 从物理上讲，任何时刻的 均不会小于其最小值 不同迭代次数及之间的连线没有物理意义，仅指明了叠代过程中均方误差的减小过程。 ！！学习曲线不会出现振荡现象（欠阻尼） 牛顿法（Newton’s method）： 数学意义重要 最速下降法（Method of steepest Descent）： 实际应用广泛 两种梯度搜索法 牛顿法 定义： 在梯度搜索法中，当r = 0时，即 时的方法 特点：学习过程处于临界阻尼状态 称作牛顿法 。 对于二次型性能表面而言，该方法一步迭代就能收敛。 基本思想（单权情况为例） 与数学中求解方程根的牛顿有对应关系。 求函数 的零点 !! 如果知道 点的函数值和梯度值，就可以得出 当用来搜索性能表面时，希望 （梯度） 则有 令 梯度的搜索 实际中必须估计 和 对于二次型函数，若 已知， 则 二次型函数的特殊之处 一步搜索到最佳值 前提条件： 精确已知 是二次型 1） 2） 定义：在多维二次型性能表面上，一步搜索到达最佳解的方法称作多维牛顿法。 一维 → 多维 左边乘 ，得到 多维空间的牛顿法 当 为二次型时： 所以： 可以看出：即使对于多维情况，牛顿法仍可一步搜索出 由于 的存在权值搜索不是在 椭圆的中心，即 的方向进行的，而是指向 牛顿法的搜索方向 梯度搜索法： 牛顿法： 有时并不希望一步调整到 上，此时用 代替1/2 目的：调整收敛速度。 归纳可知： 算法推广 非二次型性能表面举例 与牛顿法不同， 有量纲，为功率的倒数 。 定义：在负梯度方向上调整权向的自适应方法。 直接用多维形式 最速下降法 权值搜索过程的比较 — 牛顿法 第 n 个分量： 各个分量各自调整，相互之间没有影响 权值调整是去耦的 牛顿法： 第 n 个分量： 权值搜索过程的比较 — 最速下降法 最速下降法： 耦合的权值调整方式 变换坐标系，简化问题 平移坐标系： 最速下降法 — 去耦分析 主轴坐标系： 第 n 个分量： 权值调整时，个分量之间没有耦合存在。 性能分析起来更方便，更简单。 主轴坐标系中 由归纳推理： 收敛条件： 即： 稳定性分析