极大似然法和预报误差方法教材.ppt

7.2.2 动态过程模型参数的极大似然估计 考虑以下模型： 其中： 是均值为零，方差为 的服从正态分布的白噪声。令： 且假定过程是渐近稳定的，即 、 和 没有公共因子，且 和 的零点都位于z平面的单位圆内。 噪声模型已知的情形（已知） 将模型（C）写成最小二乘格式： 其中： 因为： 则有 记噪声e(k)的协方差阵为 ，则由v(k)的正态性，可知： 因此，有： 对应的对数似然函数为： 由极大似然原理可得： 并且 因此（D）式给出了参数的极大似然估计值。此时的 恰好是参数 的Markov估计。 如果 ，则 此时，参数 的极大似然估计和最小二乘估计是等价的。 对噪声方差的极大似然估计： 对噪声方差的最小二乘估计： 噪声模型未知的情形（未知） 此时，令 在独立观测的前提下，当获得L组输入输出数据 后，在给定的参数 和输入信号 的条件下， 的联合概率密度函数可写成： 根据考察的模型（C），有： 将此式代入到上式，我们有： 由于当观测至k时刻时，k-1时刻以前的z(?)、u(?)和v(?)都已经确定，且v(k)与 及 无关，因此上式可以写成： 记： 则有对数似然函数： 其中满足： 利用极大似然原理，由 得噪声方差 的极大似然估计： 将此式代入（E），可得： 再次利用极大似然原理，参数 的极大似然估计 必须使得： 令： 则这等价于使得 其中v(k)满足（F）的约束条件。 结论：在 未知的情形下，求模型（C）的参数的极大似然估计等价于以下带有约束条件的优化问题：优化的目标函数为（G），约束条件为（F）。同时噪声方差 的极大似然估计值为 Lagrangian乘子法： 根据以上得到的结论，求解带有约束条件的优化问题。引入Lagrangian乘子 ，构造Lagrangian函数： 由此，上述优化问题转化为Lagrangian函数 对 、 和 的求最小值问题。 第一步：取 并令： 得到下面的方程组： 第二步：就Lagrangian函数 对 求导，并令其为零，得： （J） 因此，当给定 和 的初始值 及输入输出数据 ，则由（J）可以计算得到 ，再利用 , 由（I）式可以计算得到: 由于 和 与 有关，对 不能以线性的形式进行估计，因此必须对 进行搜索，方可求得 ，使得: Newton－Raphson法 Newton－Raphson法求解以上优化问题，本质上是一种递推算法，每得到L次观测数据递推一次的算法。 优化问题见上面。设 是利用第N批输入输出数据