过程辩识的随机逼近法.pptVIP

* 第六章 过程辨识的随机逼近法 6.1 梯度校正法： 梯度校正法的基本作法是沿着准则函数的负梯度方向，逐步修正模型参数估计值，直至准则函数达到最小值。随机逼近法是梯度校正法的一种类型。其数学表达式可写成： ? R(k)是N维对称阵，称作权矩阵， 表示准则函数J(θ)关于θ的梯度。 ? 6．2 随机逼近法 1、随机逼近原理 假定模型 ： e(k)是均值为零的噪声 令准则函数： 准则函数的一阶负梯度为： ? ? 令上式为零： 原则上讲使J(θ)为最小，求解上式即可求θ的估计值，但上式不易求解，如果数学期望用平均值 来近视，就退化成最小二乘问题。 下面将研究上式的随机逼近法解,即随机逼近原理。 ? 设x是标量，y(x)是对应的随机变量，p(y|x)是条件概率密度函数，相应的条件数学期望： h(x)回归函数 ? 对于给定的 有唯一解，但 都不知道，求解困难，这时可以利用随即逼近法来求解，即用x1，x2，……和对应的y(x1),y(x2),……通过迭代计算,逐步逼近其解。 （1） Robbins-Monno算法 ? 其中y(x(k))是对应于x(k)的y值, ρ(k)为收敛因子, 如果ρ(k)满足 则x(k)在均方意义下收敛于方程的解。一般: Wolfowitz进一步证实,当满足下列四个条件时： Robbins-Monno算法依概率1收敛于真值解x0，即 ? ? （2）Kiefer-Wolfowitz算法 求x使 ，即求h（x）取极值处的x，逼近算法: ? 可以证明当ρ(k)满足相应的条件，上式收敛值使h(x)达到极值。 推广到多维的情况： 如果ρ（k）满足条件，那么 在均方意义下收敛于真值 ，即 ? 2．随机逼近参数估计方法 取准则函授： 为标量函授， 表示k时刻以前的输入输出数据的集合。 一阶负梯度为： ? 因此辨识问题就成为求如下方程的解： 利用随机逼近原理有： 为收敛因子，满足条件： ? ? ? 当： 得： ? ? 最后得随机逼近法解决辨识问题的基本公式 3．改进的随机逼近参数估计方法 如果模型： v(k)是均值为零,方差为 的不相关噪声 输入输出数据的测量值为： ? 式中s(k),w(k)是方差为 噪声,与v(k),u(k)统计上两两独立。 模型再变为： ? 其中： ? 显然e(k)有如下特性： ? ? 取准则函授： θ估计值的随机逼近算法： ? ? 由(6.2.1)式知道，如每隔n+1递推计算一次，则e(k)是统计独立的。 ρ(l)必须满足条件，且 ? 又由于： 或： ? 所以： ? 其中： ? 而： *