系统辨识第四章节幻灯片.pptVIP

* 表明： * ⒊预报误差协方差 未知时的似然函数 取负对数似然函数，有 根据矩阵迹的微分运算法则： * * 以 代替 ，负对数似然函数为 * ：当 为正态分布不相关随机向量时， 等价于 取极小，又等价于第2种预报误差准则 取极小。在这种意义下，极大似然法与预报误差法也是等价的。 结论 预报误差法与极大似然法等价。或者说，极大似然法是预报误差法的特例。 在上式中,右端各项为正,必有： 等价于 . 由于似然函数 取极大, * 三、预报误差参数估计方法(Newton-Raphson法) ⒈预报误差参数估计法实质 由于预报误差准则 或 一般都是参数 的非线性函数，故令 极小化求 的方法， 归纳为极小化 的最优化算法。 若预报误差 的协方差阵 已知，则取 作为预报误差准则，且取权阵 ； 若 未知，则应选 为预报误差准则。 * ⒉预报误差准则极小化的最优化算法 根据Newton——Raphson原理， 的最优化算法归纳为如下迭代方程： 式中： —— 第 次迭代的参数估计值； —— 预报误差准则 关于 的梯度； * —— Hessian矩阵； —— 迭代步长，使 显然，上述最优化算法的关键是： 关于 的梯度 及Hessian矩阵的具体计算式；利用一维搜索法求 ，使 。 * ⒊梯度与Hessian矩阵的计算 设 的协方差矩阵已知，即 已知，取权阵 ，而 (n为系统阶次) 因而： 由矩阵运算公式： * 其中 可得梯度向量 的第i个元素为： (代入 表达式) * Hessian矩阵 的第i行，第j列的元素为： 代入 表达式 略去 * 需要指出：计算Hessian矩阵元素时，忽略了e(k)关于 的 二阶导数，目的是简化Hessian矩阵计算，并可保证Hessian矩阵正定性。 式中 为 的维数，即待辨识的参数 个数，且 (预报误差模型) * ⒋Newton-Raphson法迭代计算步骤 设置初始状态 和步长 ，赋 ； 计算 和 ， * 计算梯度 和Hessian矩阵 利用一维搜索法，求步长 ，使 * 计算 给定迭代精度正小数 ，若 则停止迭代；否则，赋 ，返回 。 * ⒋模型参数的极大似然估计 观测向量Y的对数似然函数为 * 得： 整理： * * ⒌两点注意事项 * 二、第2种模型噪声情况 设动态系统的差分方程为： * 因z(k)是v(k)与v(k-1)的线性组合，故z(k)也是零均值正态分布噪声序列，但不再是无关序列。 * ⒈噪声的统计特性 ⑴均值 * ⑵方差阵 ⑶联合概率密度函数 * ⒉观测向量的似然函数 ⒊模型参数的极大似然估计 * 有 表明：此时模型参数的极大似然估计正好等于模型参数的马尔可夫估计。 * §4-3 极大似然估计的一致性 动态系统极大似然估计的一致性问题，经常转换为预报误差方程的预报误差估计的一致性问题。因为一大类含噪声的线性系统的差分方程或状态方程，可以转化为预报误差方程，而预报误差方程与似然函数之间可以建立起直接的联系，所得结果具有较宽的适用范围。 根据输入和输出数据，可得相应集合 * 构造预报误差方程： 因此，预报误差方程中的 * 可见，预报误差方程代表一大类含噪声的线性动态系统。 假设： * 噪声的条件期望 取性能指标为 (残差平方和的均值) * * 下面给出简要证明。由预报误差模型，预报误差： 由预报误差方程知： 因而预报误差 * 式中 * (噪声方差) 0 * * 于是有 从而证明了预报误差估计和正态条件