2016系统辨识1资料.ppt

同时， 满足对称非负定的假设，显然， 固定时有 预报误差的加权平方和， 是权矩阵 如果 的选择不依赖于噪声的协方差阵的估计 ，则称其为参数 的最大似然估计，并记为 考虑 的情况 输出预报为： 预报误差向量为： 当差分模型所表示的线性系统受白噪声作用，噪声的协方差阵为 ，则最大似然估计等于最小二乘参数估计。 对一般情况，最大似然估计与最小二乘估计是不同的。 现在考虑 的选择依赖于 的情况 此时，最大似然估计原理可以叙述为，先求协方差阵 ，使得 在求 ，使得 为此，对对数似然函数求偏导，并令其等于零解得： 即：噪声协方差阵R的最大似然估计就是预报误差的样本协方差阵。 于是，有 但是 所以有 由此得 使上式成立的参数向量就是参数的最大似然估计。 因为 它是参数的非线性函数，所以此优化问题一般需要借助于非线性规划来求解。 最大似然估计的Newton--Raphson算法 考虑如下线性系统 参数向量为 又设 则系统为 预报误差 显然，它是参数向量的非线性函数，则 这不是一个二次型优化问题，可用非线性规划方法求解。 最大似然估计的Newton--Raphson算法 假定