贝叶斯估计与贝叶斯学习.docVIP

贝叶斯估计与贝叶斯学习 贝叶斯估计是概率密度估计的一种参数估计，它将参数估计看成随机变量，它需要根据观测数据及参数鲜艳概率对其进行估计。 一 贝叶斯估计 （1）贝叶斯估计 贝叶斯估计的本质是通过贝叶斯决策得到参数的最优估计，使总期望风险最小。 设是待估计参数的先验概率密度，且取值与样本集有关，设样本的取值空间，参数取值空间，是作为的估计量时的损失函数，本节我们取。则此时的总期望风险为： 定义样本x下的条件风险为： 则有： 又非负，则又贝叶斯决策知求最小即求最小，即： 可求得最优估计： （2）贝叶斯估计步骤总结 获得的先验分布； 已知x的密度分布得样本集的联合分布： 由贝叶斯公式得的后验分布： 得到的最优估计： （3）样本概率密度函数估计 我们是在假设样本概率密度已知下对参数进行估计的，由贝叶斯估计步骤3可以直接得到样本概率密度函数估计： 对上式可以理解为：在所有可能参数下取值下样本概率密度的加权平均，权值为的后验概率。 二 贝叶斯学习 贝叶斯学习本质是参数值随着样本增多趋近于真实值的过程。对于贝叶斯学习由下面过程得到： 记样本集为，其中N代表样本集内样本的个数。则有： （1） 又有： （2） 将（2）式带入（1）式得： 所以随着样本数的增加，有下序列： 随着N的增加：