《系统辨识》讲稿-第18讲.docVIP

《系统辨识》第18讲要点 第8章 极大似然法和预报误差方法 8.2 极大似然参数估计辨识方法 8.2.3 极大似然参数估计的递推算法 考虑以下模型： （A） 其中：是均值为零，方差为的服从正态分布的白噪声。令： 令： 则此模型的参数极大似然估计问题就是求参数，使得 其中满足： 将在点处Talor展开，有： 令： 其中： 其中： 由此，向量可以表示为： 由于： 设是模型在时刻的极大似然估计值，那么在点上的Talor展开，并考虑到在点上关于的一阶导数近似为零，则有： 其中： 它是一正定对称矩阵，为Talor展开时的残差项。 令： ，则有： 记： ，则上式有： （B） 其中： （C） 由于，根据（B）式可知，若时刻的参数估计值使得： 时，则必达到极小值。 由（C），利用反演公式，有： 与最小二乘法类似，可以推出 由此得到极大似然参数估计的递推算法（RML）。（见教材P245） 注意：极大似然参数估计递推算法中向量的构成（见P246），其实，极大似然参数估计递推算法类似于增广最小二乘算法，所不同的只是向量的构造不一样。 8.2.4 极大似然估计量的统计性质 一致性 定理8.1：设是由个独立同分布随机变量的样本 得到的参数的极大似然估计量，则有： 渐近正态性 定理8.2：设是由个独立同分布随机变量的样本 得到的参数的极大似然估计量，那么当时，的分布收敛于正态分布，即： 其中： 有效性 定理8.3：设是由个独立同分布随机变量的样本 得到的参数的极大似然估计量，令，则的协方差阵达到Cramer－Rao不等式的下界，即有： 此定理说明了极大似然估计充分地利用了数据所提供的信息。 8.3 预报误差参数辨识方法 此方法在先验分布未知的情况下也适用。 8.3.1 预报误差准则 考虑以下一般地问题： 其中：为维输出，为维输入，为参数，为均值是零，协方差为的噪声项。是输出量的初始状态，它是计算的必要信息。令： 则有： （D） 在获得数据的条件下，对数据的“最好”预报可取它的条件数学期望值，即： 这一预报值使得 这一“最好”的输出预报值可以通过极小化预报误差准则来获得。 常用的预报误差准则有两类： 其中： （E） 且当时，。 通过极小化或获得的参数估计值称为预报误差估计值，它用不着数据的先验分布知识。 8.3.2 预报误差方法与极大似然法之间的联系 设模型噪声是不相关的随机向量，与统计独立，由全概率公式，有： 由（D）可知（利用随机变量置换） 由（E）可知 于是有： 若服从正态分布，其均值为零，协方差为，则上式有： 若已知时： 极大化似然函数等价于极小化，由矩阵迹的运算性质： 考察到和的定义，有 其中：取。 若未知时： 极大化似然函数等价于极小化负似然函数 （F） 利用： 注意到的对称性，有： 那么的极大似然估计值为 将代入（F），再对极小化，就可以得到参数的极大似然估计值，即有： 于是，关于的极小化问题等价于极小化。 8.3.3 预报误差参数估计方法 不需要数据的先验分布信息，直接极小化预报误差准则函数和。若噪声的协方差已知时，取；若噪声的协方差未知时，取。具体采用优化方法： Newton－Raphson法（P256） 松弛算法（P258） 8.3.3 预报误差参数估计量的统计性质 定理8.4：在弱正则条件下，极小化准则函数和所得到的预报误差参数估计值，当时是一致收敛的，即有： 定理8.5：在弱正则条件下，极小化准则函数和所得到的预报误差参数估计值，当时，其概率分布收敛于正态分布，即有： 对应于： 对应于： 其中：是的协方差，是正定的加权阵，且： 1