梯度校蘸妄参数辩识方法.ppt

证明思路 根据定义，参数估计值的偏差为 可得 （a） ，对于所有的 ； （b） ，对于所有的 ； （c）当 时，有 ； （d） ，对所有的 。 由定理给定的条件可知（a）、（b）和（c）一定满足。 设 是Hessian矩阵在k时刻的估计值，则有 由Robbins－Monro算法，得 的随机逼近算法： 于是得到模型的随机牛顿算法（SNA）如下： 其中为满足条件（D）的收敛因子。 7.5 差分方程的参数辨识 下面直接辨识差分方程模型： 所有关于噪声的假设同上一节，并且噪声模型的参数已知，同上一节的推导过程一样，由： 因此，有： 最后，我们得到： 注意：当 时，上式 不能化为待辨识参数的线性形式，因此不能确定参变量 和方阵M。此时，如果在上式中，利用 代替P，则直接用以下算法： 估计模型参数 。 当 ，上式 可以化为待辨识参数的线性形式，因此可以利用算法 估计模型参数 。 例如：当 时，我们有： 因此有： 其中： * 7.5 随机逼近法 随机逼近法 梯度校正法的一种类型 颇受重视的参数估计方法 * 随机逼近原理 考虑如下模型的辩识问题 - 均值为零的噪声 模型的参数辩识 通过极小化 的方差来实现 即求参数 的估计值使下列准则函数达到极小值 * 准则函数的一阶负梯度 令其梯度为零 * 原则上 由 式可以求得使 的参数估计值 但，因为 的统计性质不知道 因此 式实际上还是无法解的 * 如果 式左边的数学期望用平均值来近似 则有 这种近似使问题退化成最小二乘问题 * 研究 式的随机逼近法解 设 是标量， 是对应的随机变量 是 条件下 的概率密度函数 则随机变量 关于 的条件数学期望为 记作 它是 的函数，称作回归函数 * 对于给定的 设下列方程，具有唯一的解 当 函数的形式及条件概率密度函数 都不知道时，求上述方程的解析解是困难的，可以利用随机逼近法求解。 * 随机逼近法 利用变量 及其对应的随机变量 通过迭代计算 逐步逼近方程（29）式的解 * 常用的迭代算法 Robbins – Monro 算法 Kiefer – Wolfowitz 算法 Robbins – Monro 算法 其中： 称为收敛因子。如果满足： 则由（C）确定的 在均方意义下收敛于方程（29）式的解。 （D） （C） 一般 取： 另外：当满足以下条件时 由（C）确定的满足： Kiefer－Wolfowitz算法： 目的：确定回归函数 的极值点。 若收敛因子 满足条件（D），则由（E）确定的收敛到回归函数的极值点。 （E） 考察准则函数 的极值问题，若 在点上 取得极值 ，则 的迭代算法为： 若收敛因子满足条件（D），则 在均方意义下收敛于真值 ，即 （F） 随机逼近参数估计方法 考察参数辨识问题： 设准则函数为： 其中： 为标量函数； 表示时刻k以前的输入输出数据集合。 （G） 准则函数的一阶负梯度为： 则参数辨识问题（G）可以归结为求解以下方程 由随机逼近原理，可得： 其中 为满足条件（D）的收敛因子。 若具体的准则函数取： 则有： 下面考察以下参数辨识问题： 其中： 是均值为零，方差为 的白噪声，输入输出带有噪声，即 （H） 其中 和 分别是均值为零，方差为 和 的白噪声，并且 、 、