自适应信号处理第五章要点.pptVIP

第5章 梯度估值及其对自适应过程的影响 Chap.5 Gradient Estimation and Its Effects on Adaptation 假定：梯度估计噪声 在每次迭代之间是独立的 假设：梯度噪声是平稳过程，即均值与n无关 是 的协方差矩阵的一个对角线元素，且 由定义： 所以： 为了更方便地表示和解释该结果，引入一个新的量 — 时间常数 比较 时间常数 — 权值的时间常数 权值： —— 牛顿法 单权： 用 近似表示该曲线 在 t=k 的离散点上， 两者相等 平移坐标系中 权系数的收敛过程构造出一个指数包络 ，用 表示 时间常数 这里时间取离散值时，每次采样对应一次迭代 令 在各迭代点上， Taylor级数展开 在通常的应用场合， 较大（10），r 较小（1） 所以： 对牛顿法： 引入两个新的时间常数 1） —— 学习曲线时间常数（以迭代次数为单位） 2） —— 自适应时间常数（以数据样本为单位） 学习曲线时常数小，收敛快（较 w） 如果估计梯度时，每一个分量需要2N个样本， （L+1）个分量 共需要 2 (L+1) N 个样本 已知采样率，就可以将该时间常数与真实时间常数联系起来 自适应过程的快慢与迭代次数有关，也与每次迭代所需要 的时间有关。 超量均方差与时间常数的关系 牛顿法 ： 最速下降法 学习曲线受（L+1）个模态控制，相应地分别有（ L+1 ）个时间常数， 失调（Misadjustment） 定义： 仅由估计噪声引起的 表征了由于梯度估值噪声引起的自适应系统性能与最佳维 纳解性能之间的差异。 即，使用自适应所付出的代价的归一化量度。 注意： M中不包含为估计梯度而人为地偏置权向量所引起的扰动p 牛顿法 ： 最速下降法： 1. 2. 自由度更大，要付出更多的代价 3. 不变，M 不变 梯度估计更精确 小步长+少数据量等价于大步长+大数据量/步 性能比较 主要参数： 比较方式：速度相同时，两种算法的失调量； （固定失调量，比较速度）。 准备：将最速度下降法 M 的表达式简化。 * * 牛顿法： 最速下降法： 实际中，梯度向量 的精确值是无法知道的，必须进行估计。 ?? 如何估计，用有限个统计样本对它进行估计。 ?? 效果， 观察估值代替真值对自适应过程的影响。 为什么需要估计梯度 均用到了梯度 先考虑单变量的情况： 微商的精确值： 用“中心差”法估计这两个值（数值估计） 用微商法估计梯度 用 处的一阶微商： 中心差估计 当 时，这种近似逼近其真实值 ①一阶微商 ② 二阶微商 在二次型性能函数中，当 有限（而非 0）时，“中心差”方法给的估计也是精确的。 二次型的特殊之处 定义：由于权系数不停留在v点上而引起的均方误差的 平均增量称作性能损失 (performance penalty) ？？ 可否取负值。 性能损失 v点梯度的估计给出了真值，但该点上的函数值却发生了变化 对于二次型性能函数 1. 对于给定的性能函数， 是一个常数，而不随 v 变化。 2. 总是有性能损失存在 定义：用均方误差归一化的均方误差的平均增量称作扰动 p 是衡量自适应算法性能的一个量（性能损失很少用）。 扰动（Perturbation） 多权情况 — 双权 ？？如何估计梯度 ？？性能损失如何表示 沿每个坐标轴分别测量性能函数的微商—— 对每个坐标分量的偏导估计。 平均扰动： 各个坐标轴上： 定义：总的扰动量定义为每一个梯度分量测量所带来的扰 动量的平均值。 多权情况 — （L+1）个权 这是扰动量的一个方便的估计式。 方差，与均值一起，描述随机变量统计特性的一个量 对于二次型，如果得到 的精确值，就可以得出 的精确值。 测量得到的 值都不是精确的，或说是含噪的（noisy） 梯度估计的方差 ？？这些噪声成分对梯度估值会有多大的影响。 ！！多次测量，分析其统计特性。 在估计梯度时，假定在每一个测量点有 N 个采样（sample） 这里 k 是采样次数，而非迭代次数。 可以证明： 的这种估计是无偏的。 ，即 真值： 估计值： 由于在梯度估计中用到了 ，所以先考虑 的方差。 可以证明：当 是零均值的正态分布时，有方差 的方差 即 ： 的方差正比于 ，反比于N。 （*） 微商法中包含了求 的差。各点的 只用到该点上的 的测量值。 假定样本 是独立的，则