贝叶斯分析初探.pptVIP

应用实例 高斯混合模型 Probabilistic PCA 应用实例 高斯混合模型（GMM） 隐变量 应用实例 贝叶斯方法 Gaussian-Wishart先验 应用实例 Probabilistic PCA 参考文献 [1] C. M. Bishop, Pattern Recognition and Machine Learning, Springer, 2006. [2] J. K. Ghosh, M. Delampady, and T. Samanta, An Introduction to Bayesian Analysis, Springer, 2006. [3] D. G. Tzikas, A. C. Likas, and N. P. Galatsanos, The Variational Approximation for Bayesian Inference, IEEE Signal Processing Magazines, Vol. 25, Issue 6, 2008, Pages: 131-146. [4] 韦来生，张伟平， 贝叶斯分析， 中国科学技术大学出版社，2013年。 贝叶斯分析初探 胡 南 苏州大学电子信息学院神经信息与工程实验室 2014年7月28日 概要 最大似然方法、贝叶斯方法 先验概率 图模型 贝叶斯计算方法 Lapalace’s Method Expectation-Maximization (EM) Variational Inference MCMC 应用实例 高斯混合模型 Probabilistic PCA 最大似然方法、贝叶斯方法 最大似然：最大化给定参数 的情况下的观测值 满足分布 的概率，从而推出参数 的值。 贝叶斯方法：将最大似然中需确定的参数 视为变量，在给定先验分布 和似然函数 后求得后验概率 ，并据此推出变量 的值。 最大似然方法、贝叶斯方法 最大似然方法的局限性：完全未考虑“参数” 应该满足的条件，而单纯只从数据中获取的信息也许是完全不可接受的。 比如：通过硬币抛掷结果来推断出现正面的概率，若一次抛掷结果为正面，则其最大似然估计结果为出现正面的概率为1，这显然是很难接受的；而若设其先验分布为参数为(a,b)的Beta分布，则最大后验概率估计结果为(1+a)/(1+a+b)，显然更合理。 最大似然方法的局限性一般通过增加正则化项来补救，而正则化则大多可解释为该变量的先验信息。 先验概率 无信息先验（noninformative prior） 对参数空间 中的任何一点 无任何偏爱。 为 的广义先验（improper prior），如果： 且 ； 后验密度 是正常的密度函数。 位置参数族：若随机变量 的分布密度函数的形式为 ，则 的无信息先验为 刻度参数族：若随机变量 的分布密度函数的形式为 ，则 的无信息先验为 先验概率 Jeffreys先验： 的Jeffreys无信息先验的密度为 其中 为Fisher矩阵，即 先验概率 共轭先验（conjugate prior）分布 设 表示 的先验分布 构成的分布族，若对任取的 ，后验分布 仍属于 ，则称其为共轭先验分布族。 后验密度的核： 先验概率 几种概率分布及其共轭先验 概率分布 共轭先验 Beta分布 二项分布 多项分布 Dirichlet分布 先验概率 高斯分布 共轭先验 先验概率 高斯分布 共轭先验 其中Wishart分布 图模型 联合分布可分解为条件分布的乘积： 根据图模型中的生成关系，可获得更简洁的联合分布表示形式： 例如：图中各变量的联合分布为 图模型 条件独立（Conditional Independence）: 记为 三个例子： 贝叶斯计算方法 贝叶斯推断常需计算的积分： 如 例如在均方误差准则下的点估计 贝叶斯计算方法 Laplace’s Method 考虑积分 ，若 和 都是 的光滑函数，且 存在唯一的最大值点 ，则 其中 进而可得 贝叶斯计算方法 Kass-Kadane-Tierney精