[互联网]贝叶斯参数估计.pdfVIP

Bayesian Parameter Estimation （贝叶斯参数估计） 曹祥 严富函 贝叶斯估计的基本原理 • 假设 • 将待估计的参数看作符合某种先验概率分布的随 机变量 • 估计方式 • 通过观察样本，将先验概率密度通过贝叶斯规则 转化为后验概率密度 1 引言 概率密度估计的两种基本方法： 参数估计(parametric methods) ： 根据对问题的一般性的认识，假设随机变量服从 某种分布，分布函数的参数通过训练数据来估计。 如：ML 估计，Bayesian估计。 非参数估计(nonparametric methods)： 不用模型，而只利用训练数据本身对概率密度做 估计。如：Parzen窗方法，kn-近邻估计。 （Bayes，Thomas ）(1702─1761) 贝叶斯是英国数学家.1702年生于伦敦；1761年4月17 日 卒于坦布里奇韦尔斯. 贝叶斯是一位自学成才的数学家.曾助理宗教事务，后来 长期担任坦布里奇韦尔斯地方教堂的牧师.1742年，贝叶斯被 选为英国皇家学会会员. 如今在概率、数理统计学中以贝叶斯姓氏命名的有贝叶斯 公式、贝叶斯风险、贝叶斯决策函数、贝叶斯决策规则、贝叶 斯估计量、贝叶斯方法、贝叶斯统计等等. 贝叶斯统计学派把任意一个未知参数都看成随机变量，应用一 个概率分布去描述它的未知状况，该分布称为先验分布。 样本信息 先验信息 贝叶斯定理 后验信息 统计推断 3.3 贝叶斯估计  ML估计： 根据每一类的训练样本估计每一类的类条件概率密 度。  Bayesian估计： 同样根据每一类的训练样本估计每一类的类条件 概率密度。但不再把参数 θ看成是一个未知的确 定变量，而是看成未知的随机变量。通过对第i类 样本 的观察，使概率密度分布 转化为 后验概 再求贝叶斯估计。 先验分布的选取 有信息的： 已知分布类型、参数等 无信息的： 最大熵、共轭分布、Bayes假设 基于经验的： 利用样本确定先验分布 共轭分布法 2 2 X ~ N (, 2 ) ~ N (10,3 ) X 例：设 ， 。若从正态总体 抽 得容量为 5 的样本，算得x 12.1 ， 2 6 2 于是可算得 11.93 和1 ( ) 。这时正态均值 1 7 6 2 的后验分布为正态分布N (11.93,( 7 ) ) 例 设x ,x ,...,x ~ iid .p (),() ~ (,), 试确定(x). 1 2 n