第十一章 参数估计方法.pptVIP

下面求似然函数 设有一线性观测系统 式中， 是 维观测值， 是 维未知参数， 是 维测量误差。设与 独立。给出 的统计特性，求 的极大似然估计。 11-26 根据不同随机变量的概率密度变换公式，并考虑到 与 独立，可得 令 得上式，可得的 估值 。 假定噪声 是正态分布，其均值为零，方差阵为 ，则 把 代入上式，得 式中 求出 ，使 为最大，也就是使 11-27 求 对 的偏导数，令偏导数等于零，可得 的估值 11-28 二、极大验后估计 如果给出 维随机变量 的条件概率分布密度 ――也称验后概率密度，怎样求 的最优估值 呢？极大验后估计准则：使 的验后概率密度 达到最大那个 值为极大验后估值 。可见，极大验后估计是已知 求 的最优估值 的一种有效方法。 式中 是 的验前概率密度， 是观测值 的概率密度， 可用计算方法或实验方法求得。为了计算 需要知道 。在 没有验前知识可供利用时，可假定 在很大范围内变化。 极大验后估计是以已知 为前提的。如果只知道 ，可按下式计算 。 11-29 在这种情况下，可把 的验前概率密度 近似地看作方差阵趋于无限大的正态分布密度 式中 为 的方差阵， 为 单位阵， ，于是 11-30 当 11-31 当缺乏 的验前概率分布密度时，极大验后估计与极大似然估计是等同的，现证明如下： 对于极大似然估计，为了求得 的最优估值 ，应令 11-32 对于极大验后估计，为了求得 的最优估值 ，应令 11-33 根据式 11-29 得 考虑到 不是 的函数，同时考虑到式 11-31 ，可得 一般说来，极大似然估计比极大验后估计应用普遍，这是由于计算似然函数比计算验后概率密度较为简单。 11-34 第三节 最小二乘法估计与加权最小二乘法估计 上面讨论的几种估计方法，分别对被估随机变量 的概率分布密度 、条件概率密度 、 以及一、二阶矩等条件有着不同的要求。假定我们并不掌握上述任何条件，仍要估计随机变量 的最优估值 ，只有用高斯提出的最小二乘法。 一、最小二乘法估计 设 次独立试验，得到 对观测值： 。这里 表示时间或其他物理量。现在的任务是：根据这些观测值，用最优的形式来表示 与 之间的函数关系。 通常， 的未知函数可用 表示， 的类型应根据这 对数据（ 个点）的分布情况或所研究问题的物理性质来确定。 为了便计算，可采用多项式 11-35 来表示，也可以用更一般的形式表示： 在式 11-36 中， 为已知的确定性函数，如 的幂函数、正余弦函数和指数函数等。 为 个待定的未知数 。 11-36 把 对观测值代入式 11-35 或 11-36 ，可得 个方程式。如果 ，即方程数 少于未知参数的数目。则方程的解不确定，不是唯一地确定解出 。当 时，方程数正好与未知参数的数目相等，能唯一地解出 。在这种情况下， 曲线一定通过每一个观测点 。因为在观测结果中，不可避免地含有随机测量误差，如果曲线通过每一个观测点，则曲线将包含这些测量误差，反而不能真实地表达出 与 之间的正确函数关系。所以不应要求 曲线一定通过每一个观测点。 一般，试验次数 ，而且希望 比 大得多，即方程数大于未知参数数目这种情况只能采用数理统计求估值的方法。下面讨论这一问题。 确定了函数 的类型之后，问题就归结为如何合理地选择 中的参数 ，使得这一函数在一定意义下比较准确地反映出 与 的函数关系。通常用最小二乘法来选择这些参数。所谓电波二乘法，就是要求所选择的 的参数，使得观测 与对应的函数 的偏差的平方和为最小。设 为观测值 与对应函数 的偏差的平方和，即 11-37 按照 为最小的条件来确定 中的参数 ，将上式分别对 求偏导数，并令它们等于零，可得下列方程组： 上述方程组有 个方程， 个未知数，解之可得 的最优估值 。 11-38 例11-2 观测值 和观测时刻 如表11-1所示。 5.47 5.02 3.50 2.98 2.01 9 8 5 4 2 表11-1 设 。用最小二乘法确定 和 。 解: 把 值分别代入上面两个方程，经过整理后可得 解上述方程组，可得 的估值： 所以 实际上 与 不可能完全一致，这是由于以下几个原因引起： ⑴ 选得不够准确； ⑵ 存在观测误差； ⑶ 的模型方程 选得不够确切。 当选定 之后，可得观测值 与 之差 11-39 式 11-39 可写成 考虑到式 11-36 ，上式可写成 11-40 或写成 11