2016系统辨识3导论.ppt

* 上移 * 上移 * 变左右位置 * 下移居中 * 说明 * 精炼 * 理论上讲，由式(5.36)可以求得参数 的后验概率密度函数， 但实际上这是困难的，只有在参数 与数据之间的关系是 线性的，噪声是高斯分布的情况下,才有可能得到式(5.36)的 解析解。求得参数 的后验概率密度函数后， 就可利用它 进一步求得参数 的估计值。常用的方法有两种，一种是极 大后验参数估计方法，另一种是条件期望参数估计方法，这两 种方法统称为Bayes方法。 * 1.极大后验参数估计方法 极大后验参数估计方法就是把后验概率密度函数 达到 极大值作为估计准则。在该准则下求得的参数估计值称作极大 后验估计，记作 。显然，极大后验估计满足方程 或 这意味着在数据 条件下，模型参数 落在 邻域内的概 率比落在其他邻域的概率大。 (5.39) * 如果把式(5.36)代入式(5.39)，并考虑到式(5.36)右边的分母与 无关， 则式(5.39)可写成 (5.40) 当 是在独立观测条件下的输出样本时，若让 式(5.40)左边的 第一项为零，则对应的估计值就是极大似然估计。可见，极大 后验估计比极大似然估计多考虑了参数 的先验概率知识。 通常情况下，如果参数 的先验概率密度函数 为已知， 则极大后验估计将优于极大似然估计。也就是说，极大后验 估计的精度将高于极大似然估计。但是，通常由于没有参数 的先验概率知识，加之参数 的后验概率密度函数的计算难 度较大，因此极大似然估计仍然比极大后验估计用得更普遍。 * 如果参数 在取值范围内是均匀分布的，则参数 的先验概率 分布为协方差阵趋于无限大的正态分布，即参数 的先验概率 密度函数可写成 式中， 表示多元参数 的维数，即 ； 和 分别表示参 数 的均值和协方差阵，且 。那么式(5.40)左边第二项为 可见，这时极大后验估计就退化为极大似然估计。 * 上述分析表明，极大后验估计与极大似然估计有着密切的联系，但是它们的基本出发点又是不一样的。极大似然估计立足于直接极大化数据的条件概率密度函数；而极大后验估计则是基于极大化参数 的后验概率密度函数，它同时考虑了 参数 的先验概率知识。 * 2.条件期望参数估计方法 条件期望参数估计方法直接以参数 的条件数学期望作为 参数估计值，即 (5.43) 另外，式(5.43)所定义的参数估计值 将等价于极小化参 数估计误差的方差的结果，因此条件期望估计有时也称作 最小方差估计，即参数估计值 使得 (5.44) 式中， 表示参数 的某种估计量。实际上可以证明 式(5.43)和式(5.44)的定义是等价的。 * 上述分析表明，不管参数 的后验概率密度函数取什么形式，条件期望参数估计总是无偏一致估计。但是，条件期望参数估计在计算上存在着很大的困难。这里因为计算式(5.43)必须事先求得参数 的后验概率密度函数，并且式(5.43)的积分运算比较困难。因此，一般情况下，条件期望参数估计在工程上是难以应用的。不过，如果参数 与输入输出数据之间的关系是线性的，而且数据噪声服从高斯分布，那么式(5.43)就有准确解。下面将重点讨论Bayes方法在这种情况下的模型参数辨识问题。 * 最小二乘模型的Bayes参数辨识 考虑最小二乘格式模型 (5.45) 其中， (5.46) 是均值为零、方差为 的服从高斯分布的白噪声序列。 应用Bayes方法估计模型(5.45)的参数 时，首先要把 参数 看做随机变量，然后利用式(5.39)或(5.43)来确定参数 * 的估计值。显然，无论利用哪个式子求参数估计值都需要 预先确定参数 的后验概率密度函数 。根据式(5.36), 并利用下面Bayes公式 或进一步写成 可得参数 的后验概率密度函数为 (5.48) * 设参数 在数据 条件下的先验概率分布是均值为 、 协方差阵为 的正态分布，即 (5.49) 其中， ，则参数 在数据 条件下的后验概率分布 也是正态分布的，其均值和协方差阵分别记作 和 。 于是，参数 在数据 条件下的概率分布可写成 (5.50) 同时，由于噪声服从正态分布， ，结合式(5.45), 则有 ，因此数据的条件概率密度函数可写成 * (5.51) 将式(5.50)和(5.51)代入式(5.48),得 (5.52) 其中， 与 无关，且 (5.53) 式(5.52)两边取对数后为 (5.54) * 将上式右边展开，并整理成二次型 (5.55) 式中 (5.56) 得 (5.57) 代入式(5.55),得 (5.58) * 其中， (5.5