系统辨识(No.5).pptVIP

极大似然法 1. 描述 【使用条件】：已知随机变量的条件分布密度函数（似然函数）。 【目的】： 建立随机观测数据与未知参数之间的概率统计关系，求出未知参数的估计值。 2.原理 设n维联合正态分布的随机变量为 其可能值 且联合分布函数 其中P为x的协方差阵。 若X各分量互不相关，在正态条件下相互独立，均值和方差为 ，则 假设估计参数 为未知的均值 。 极大似然法就是寻找 的估计 ，使得X的现实值出现在x附近的可能性最大，即 3. 方法 考虑 称为对数似然函数。 对于正态分布 4. 结论 正态独立同分布随机过程的未知均值的极大似然估计就是 的均值。当 已知，可采用同样方法估计方差 。 极大似然法用于动态参数估计 （一） 为零均值独立同分布的平稳随机序列，且与 统计独立。 假设 为零均值正态独立同分布，因此 联合密度函数 记 观测向量Y关于 的似然函数为 因此 （二） 假设 ，其余 ，则 为零均值正态分布 为联合正态分布，且 联合密度函数 极大似然法的数值解法 对于第二类模型 动态系统差分方程 误差 误差估计 先用最小二乘法对参数进行估计，并得到上述误差，再逐渐迭代修正。 误差表示式 观测向量Y关于 的似然函数 方差的极大似然估计 通过误差迭代过程不断修正。 极大似然数值解法的基本原理 似然函数 对上式求极大似然估计等价于对下式定义的性能指标求最小 【Newton迭代算法】：给出第K个估计 ，希望找到第K＋1个估计 ，使得 设 为了使似然函数 最大，实际上就是如何选择 的问题，求上式的极值点得 问题转化为如何求Q和g的问题。 根据 得 分析可知 与 有关，近似 因此 问题又转化为求 的问题。 由 可知 因此 步骤 Step1 按最小二乘或经验确定参数 ，并假设 ，得到 的初始估计 Step2 按 求序列 Step3 按 求 Step4 按 求 Step5 按 求 Step6 满足预定要求算法结束，否则转到Step2 递推极大似然法 对于第二类模型 动态系统差分方程 误差 误差估计 先用最小二乘法对参数进行估计，并得到上述误差，再逐渐迭代修正。 似然函数极大等价于下式性能指标极小。 把 围绕真值 附近展开 同样 由此得到 的递推形式。 把 写出二次函数形式 令 则 进一步 并且 因此， 是使得 极小 的估计 ，由此得到 其中， 利用 估计。 步骤 Step 1 初始估计 Step 2 计算 Step 3 N n-1 Step 4 计算 Step 5 计算 Step 6 满足预定要求算法结束，否则输入新的数据 Step 7 构成向量 Step 8 计算 Step 9 计算 Step 10 计算 Step 11 N=N+1，返回Step 4