系统辨识第14讲.doc

《系统辨识》第14讲要点 第9章 线性动态模型参数辨识－Bayes法 9.1 Bayes估计 设总体的分布为，其中为未知参数，问题是用观察到的样本对参数作出某种估计。以前我们所讨论的极大似然估计中，假设未知参数只是简单的一个未知数，在抽取样本之前，我们对参数没有任何了解，所有的信息完全来自样本。 贝叶斯估计的思想： 把未知参数看作是随机变量（或随机向量），且在抽样之前，对已有一定的知识（包括合理的猜想与准则），称其为先验知识。这种先验知识用的某种概率分布表达出来，记为。这种概率分布叫做的“先验分布”或“验前分布”。这个分布反映了在试验之前对未知参数的所把握的信息 将原来含有参数的样本分布定义为在给定值时，的条件分布。因而的联合分布密度为： 由此联合分布密度可得的边缘分布密度为： 我们可以得到在给定的条件下，的条件分布密度为： （A） 称（A）式为的“后验分布密度”。这个条件密度代表了我们现在（即在取得样本后）对的知识，它综合了的先验信息（所反映的信息）与由样本带来的信息。 利用后验分布密度（A）作出对参数的估计或检验。 贝叶斯学派认为：在有了后验分布（A）后，对参数的估计，必须建立在这个后验分布的基础上推出，具体可结合使用者的某种要求（准则）来处理。比较常用的两种处理方法为： （a）若取后验分布（A）的（条件）均值作为参数的估计，则称此为Bayes 条件期望估计； （b）若取满足：后验分布（A）达最大的的作为，称为Bayes 最大后验估计。 例：设总体，其中已知，而为未知参数，的先验分布为，其中为已知的常数，为取自总体的简单样本，试求参数的Bayes条件期望估计。 解：此时： 由（A）式可得： 其中是一个与无关，只与有关的数， 记： ，将上式右端方括号中的式子化简为： 其中是一个与无关，只与有关的数，故： 注意上式说明是正态分布，且其（条件）期望为： 故参数的Bayes条件期望估计为： 可以写成： 注意：上面式子的解释。 贝叶斯估计的性能分析： 在Bayes估计中，更多的是以估计产生的效果（可以是性能方面，也可以是经济方面的）来衡量估计的优良性准则。 损失函数：设为参数的一个估计量，称二元函数为损失函数。最常用的有两种：和。他们表示若用去估计的效果越差，其损失函数就越大。注意：损失函数是一随机变量。 风险函数：称为估计量的风险函数。它是评价估计量效果好坏的一个准则，风险小估计的效果越好。 后验风险函数：给定样本，称： 为估计量的后验风险函数。后验风险函数是估计量的条件平均损失。 由条件期望的性质，显然有：。 在Bayes统计中，如何从后验分布出发进而给出参数的估计呢？前面我们给了两种常用的方法，他们是从直观的定义出发来构造参数的估计量的。下面给出另一种基于从估计的效果出发提出适当的准则来寻求参数估计量的方法，即最小风险估计方法。 定义：设为参数的一个估计量，为损失，为估计风险，若为的一个估计量，满足：对的任一估计，有： 则称为的最小风险估计。我们通常把最小风险估计称为Bayes估计。 可以证明，后验风险最小估计等于风险最小估计。因此，上面定义的Bayes估计就是后验风险最小估计。若取，则Bayes估计为： 例：设，其中参数未知，简单样本为，取的先验分布为上的均匀分布，损失函数取，求的Bayes估计。 解：由于与的联合概率分布为： 记：，则后验分布为参数取的贝塔分布： 因而： 注：关于贝塔分布和伽玛分布 贝塔分布（Beta distribution） 定义：若连续型随机变量的概率密度函数为： 其中称为贝塔函数，称服从参数为的贝塔分布。 注意：当时，贝塔分布就变为上的均匀分布。 伽玛分布（Gamma distribution） 定义：若连续型随机变量的概率密度函数为： 其中是伽玛函数，称服从参数为的伽玛分布. 注意：当时，伽玛分布就化为指数分布。 贝塔函数与伽玛函数之间的关系： ， 。 9.2 Bayes 参数辨识方法 前面一节我们讨论了Bayes估计的基本原理和方法，下面考虑利用Bayes参数估计方法对最小二乘模型参数的辨识问题。 考虑如下最下二乘模型： 式中和分别为过程的输入和输出变量，是均值为零、方差为的服从正态分布的白噪声序列， 和为阶次分别为和的迟延算子多项式，即： 令： 则有： 记表示时刻以前的输入输出数据集合，则有 利用Bayes公式： 我们可得关于参数的后验概率函数： （A） 设参数在数据条件下的验前概率分布是均值为、协方差阵为正态分布，即： 其中。 由上一节的例子可知，参数在数据条件下的后验概率