极大似然参数辨识方法.docVIP

2 极大似然参数辨识方法 极大似然参数估计方法是以观测值的出现概率为最大作为准则的，这是一种很普遍的参数估计方法，在系统辨识中有着广泛的应用。 2.1 极大似然原理 设有离散随机过程与未知参数有关，假定已知概率分布密度。如果我们得到n个独立的观测值…，则可得分布密度，，…,。要求根据这些观测值来估计未知参数，估计的准则是观测值{}的出现概率为最大。为此，定义一个似然函数 （2.1.1） 上式的右边是n个概率密度函数的连乘，似然函数L是的函数。如果L达到极大值，的出现概率为最大。因此，极大似然法的实质就是求出使L达到极大值的的估值。为了便于求，对式（2.1.1）等号两边取对数，则把连乘变成连加，即 （2.1.2） 由于对数函数是单调递增函数，当L取极大值时，lnL也同时取极大值。求式（2.1.2）对的偏导数，令偏导数为0，可得 （2.1.3） 解上式可得的极大似然估计。 2.2 系统参数的极大似然估计 设系统的差分方程为 （2.2.1） 式中 因为是相关随机向量，故（2.2.1）可写成 （2.2.2） 式中 （2.2.3） （2.2.4） 是均值为0的高斯分布白噪声序列。多项式，和中的系数和序列的均方差都是未知参数。 设待估参数 （2.2.5） 并设的预测值为 （2.2.6） 式中为预测误差；，，为，，的估值。预测误差可表示为 （2.2.7） 或者 = （2.2.8） 因此预测误差满足关系式 （2.2.9） 式中 假定预测误差服从均值为0的高斯分布，并设序列具有相同的方差。因为与，和有关，所以是被估参数的函数。为了书写方便，把式（2.2.9）写成 （2.2.10） （2.2.11） 或写成 （2.2.12） 令k=n+1,n+2,…,n+N,可得的N个方程式，把这N个方程式写成向量-矩阵形式 （2.2.13） 式中 , , 因为已假定是均值为0的高斯噪声序列，高斯噪声序列的概率密度函数为 （2.2.14） 式中y为观测值，和m为y的方差和均值，那么 （2.2.15） 对于符合高斯噪声序列的极大似然函数为 （2.2.16） 或 （2.2.17） 对上式（2.2.17）等号两边取对数得 （2.2.18） 或写为 （2.2.19） 求对的偏导数，令其等于0，可得 （2.2.20） 则 （2.2.21） 式中 （2.2