贝叶斯统计知识整理.docVIP

第一章 先验分布和后验分布 统计学有两个主要学派，频率学派与贝叶斯学派。频率学派的观点：统计推 断是根据样本信息对总体分布或总体的特征数进行推断，这里用到两种信息：总 体信息和样本信息；贝叶斯学派的观点：除了上述两种信息以外，统计推断还应 该使用第三种信息：先验信息。贝叶斯统计就是利用先验信息、总体信息和样本 信息进行相应的统计推断。 1.1 三种信息 （1）总体信息：总体分布或所属分布族提供给我们的信息 （2）样本信息：从总体抽取的样本提供给我们的信息 （3）先验信息：在抽样之前有关统计推断的一些信息 1.2 贝叶斯公式 一、贝叶斯公式的三种形式 (一）贝叶斯公式的事件形式 假定 A1 ,? , A k 是互不相容的事件，它们之和 k ? 包含事件 B，即 A i i?1 B k ? ? 则有： A i i?1 P ( A B ) i ? P ( A )P (B A ) i i k ? P ( A )P (B A i i i ?1 ) （二）贝叶斯公式的密度函数形式 1.贝叶斯学派的一些具体思想 假设 I ：随机变量 X 有一个密度函数 p(x;?) ，其中? 是一个参数，不同的? 对应不同的密度函数，故从贝叶斯观点看， p(x;?) 是在给定? 后的一个条件密度 函数，因此记为 p(x?) 更恰当一些。在贝叶斯统计中记为 p(x?)它表示在随机变 量? 给定某个值时，总体指标 X 的条件分布。这个条件密度能提供我们的有关 的? 信息就是总体信息。 假设 II ：当给定? 后，从总体 p(x?) 中随机抽取一个样本 X1，…，Xn，该 样本中含有? 的有关信息。这种信息就是样本信息。 假设 III ：从贝叶斯观点来看，未知参数? 是一个随机变量。而描述这个随 机变量的分布可从先验信息中归纳出来，这个分布称为先验分布，其密度函数用 ? 表示。 (?) 2. 先验分布 定义 1 ：将总体中的未知参数? ?? 看成一取值于 ? 的随机变量，它有一概 率分布，记为?(?) ，称为参数? 的先验分布。 3.后验分布 （1）从贝叶斯观点看，样本 x=( x ,…, 1 x )的产生要分两步进行。首先设想 n 从先验分布? (?) 产生一个样本??，这一步是“老天爷”做的，人们是看不到的， 故用“设想”二字。第二部是从总体分布 p(x|??)产生一个样本 x=( x ,…, 1 x ), n 这个样本是具体的，人们能看到的，此样本 x 发生的概率是与如下联合密度函数 成正比。 n ? i p(x? ??) ?) ? p(x i?1 这个联合密度函数是综合了总体信息和样本信息，常称为似然函数，记为 L ) 。频率学派和贝叶斯学派都承认似然函数，两派认为：在有了样本观察值 (?? x=( x ,…, 1 x )后，总体和样本中所含? 的信息都被包含在似然函数 L(??) 之中， n 可在使用似然函数作统计推断时，两派之间还是有差异的。 （2）由于??是设想出来的，它仍然是未知的，它是按先验分布? (?) 而产生 的，要把先验信息进行综合，不能只考虑??，而应对? 的一切可能加以考虑。故 要用? (?) 参与进一步综合。这样一来，样本 x 和参数? 的联合分布 h(x,?) ? p(x?)? 把三种可用的信息都综合进去了。 （3）我们的任务是要求未知数? 做出统计推断。在没有样本信息时，人们 只能据先验分布对? 作出推断。在有样本观察值 x=( x ,…, 1 x )之后，我们依据 n h(x,?) 对? 作出推断。为此我们需把 h(x,?) 作如下分解： h(x,?) ? ? (? x)m(x) 其中 m(x)是 x 的边缘密度函数。 ? ? m(x) ? h(x,?)d? ? p(x?)? (?) ? ? 它与? 无关，或者说，m(x)中不含? 的任何信息。因此能用来对? 作出推断 的仅是条件分布? (? x) 。它的计算公式是 ? (? | x) ? h( x | ? m ( x) ) ? ? ? p( x p( x | ? | ? )? (? )? 这就是贝叶斯公式的密度函数形式。这个在样本 x 给定下，? 的条件分布 ? ? 被称为? 的后验分布。它是集中了总体、样本和先验等三种信息 ( 1 , xn ) x ? , 中有关? 的一切信息，而又是排除一切与? 无关的信息之后所得到的的结果。 （三）贝叶斯公式的离散形式 ? 是离散随机变量时，先验分布可用先验分布列? (? ) ,i=1,2,…,表示。这 i 时后验分布也是离散形式。 ? p( x | ? )? (? ) ( ) ? ? i ? ? | x i i ? ? i? ， p( x | ) ( ) j j j 1,2, ? 假如总体 X 也是离散的，那只要把上述中的密度函数 p