第一章概率统计基础-Chp11贝叶斯推断.PDFVIP

Chp11 ：贝叶斯推断 内容: 贝叶斯观点和贝叶斯方法 贝叶斯推断vs. 频率推断 贝叶斯观点和贝叶斯方法 从频率到信念 频率学派的观点 到目前为止我们讲述的都是频率（经典的）统计学 概率指的是相对频率，是真实世界的客观属性。 参数是固定的未知常数。由于参数不会波动，因 此不能对其进行概率描述。 统计过程应该具有定义良好的频率稳定性。如： 一个95 ％的置信区间应覆盖参数真实值至少95 ％ 的频率。 统计学更多关注频率推断 贝叶斯学派的观点 贝叶斯推断采取了另外一个不同的立场： 概率描述的是主观信念的程度，而不是频率。这 样除了对从随机变化产生的数据进行概率描述 外，我们还可以对其他事物进行概率描述。 可以对各个参数进行概率描述，即使它们是固定 的常数。 为参数生成一个概率分布来对它们进行推导，点 估计和区间估计可以从这些分布得到 机器学习和数据挖掘更偏爱贝叶斯推断 贝叶斯方法 贝叶斯推断的基本步骤如下： 选择一个概率密度函数f (θ) ，用来表示在取得数据之 θ 前我们对某个参数 的信念。我们称之为先验分布。 f (x | θ) f (x;θ) 选择一个模型 （在参数推断一章记为 ） 来反映在给定参数 情况下我们对x 的信念。 θ 当得到数据X , X ,…X 后，我们更新我们的信念并且 1 2 n 计算后验分布 f (θ|X 1,...,X n ) 。 从后验分布中得到点估计和区间估计。 回忆贝叶斯规则 亦称贝叶斯定理 f (x | y )f (y ) f (y |x ) ∫f (x | y )f (y )dy 条件概率 利用贝叶斯规则将数据和参数的分布联合起来 f (x | θ)f (θ) f (θ|x ) θ θ θ ∫f (x | )f ( )d 似然函数 X ,...,X X n 假设我们有n个IID观测 1 n ，记为 ,产 x ,..., x x n 生的数据为 1 n ，记为 ，我们用如下公 f x |θ 式替代 ( ) n f x n |θ f x ,...,x |θ f x |θ L θ ( ) ( 1 n ) ∏ ( i ) n ( ) i 1 现在似然函数真正解释为给定参数下数据的概率 后验概率