《系统辨识》讲稿-第17讲.docVIP

《系统辨识》第17讲要点 第8章 极大似然法和预报误差方法 8.1 引言 方法：构造似然函数，通过极大化似然函数获得模型的参数估计 要求的先验知识：模型输出量的条件概率密度函数 优点：此方法所获得的参数估计具有良好的渐近性质 缺点：此方法的计算量较大 预报误差方法本质上是极大似然法的一种推广 8.2 极大似然参数估计辨识方法 8.2.1 极大似然原理 设是随机变量，已知条件概率密度函数，观测序列为，记为向量形式，则的联合条件概率密度函数为，那么参数的极大化似然估计就是使的参数估计值。即有： 或 给定一组数据，此时只是的函数，我们称为的似然函数，记为。因此极大似然原理可表示为： （A） 或 （B） 其中称为对数似然函数。称作极大似然参数估计值。 物理意义：对一组确定的随机序列，设法找到参数估计值，使得随机变量在条件下的概率密度函数最大可能地逼近随机变量在（真值）条件下的概率密度函数，即有： 可以证明：（A）或（B）式是实现上式的条件。 Kullback－Leibler信息测度：我们称 为Kullback－Leibler信息测度。可以证明： 8.2.2 动态过程模型参数的极大似然估计 考虑以下模型： （C） 其中：是均值为零，方差为的服从正态分布的白噪声。令： 且假定过程是渐近稳定的，即、和没有公共因子，且和的零点都位于平面的单位圆内。 噪声模型已知的情形（已知） 将模型（C）写成最小二乘格式： 其中： 因为： 则有： 记噪声的协方差阵为，则由的正态性，可知： 因此，有： 对应的对数似然函数为： 由极大似然原理可得： （D） 并且 因此（D）式给出了参数的极大似然估计值。此时的恰好是参数的Markov估计。 如果，则 此时，参数的极大似然估计和最小二乘估计是等价的。 对噪声方差的极大似然估计： 对噪声方差的最小二乘估计： 注意两者的区别。 噪声模型未知的情形（未知） 此时，令 我们有： 根据考察的模型（C），有： 将此式代入到上式，我们有： 由于当观测至时刻时，时刻以前的、和都已经确定，且与及无关，因此上式可以写成： 记： 则有对数似然函数： （E） 其中满足： （F） 利用极大似然原理，由 得噪声方差的极大似然估计： 将此式代入（E），可得： 再次利用极大似然原理，参数的极大似然估计必须使得： 令： （G） 则这等价于使得 （H） 其中满足（F）的约束条件。 结论：在未知的情形下，求模型（C）的参数的极大似然估计等价于以下带有约束条件的优化问题：优化的目标函数为（G），约束条件为（F）。同时噪声方差的极大似然估计值为。 Lagrangian乘子法： 根据以上得到的结论，求解带有约束条件的优化问题。引入Lagrangian乘子，构造Lagrangian函数： 由此，上述优化问题转化为Lagrangian函数对、和的求最小值问题。 第一步：取 并令： 得到下面的方程组： （I） 第二步：就Lagrangian函数对求导，并令其为零，得： （J） 因此，当给定和的初始值及输入输出数据，则由（J）可以计算得到，再利用由（I）式可以计算得到。由于和与有关，对不能以线性的形式进行估计，因此必须对 进行搜索，方可求得，使得。 具体的搜索过程参见P238。 Newton－Raphson法 注意： Newton－Raphson法求解以上优化问题，本质上是一种递推算法，每得到L次观测数据递推一次的算法。 优化问题见上面。设是利用第批输入输出数据 ，所求得的极大似然估计值，它使得 或 达到最小。 当我们进一步获得一批新的输入输出数据 ，由此可以求得，使得 （K） 达到最小。 根据Newton－Raphson原理，我们有： （P） 其中为Hessian矩阵。 将（K）式写成递推形式，即： 则可以求得： 及 因此有： 由上式递推，得 故有： （Q） 将（Q）式代入（P）式，便可获得的递推算法。 算法的具体步骤可以参见P240。 9