【贝叶斯统计】第一章 先验分布与后验分布.docVIP

贝叶斯统计学 Bayesian Statistics 开课的话 ? 历史悠久：R. T. Bayes(1701-1761) P. C. Laplace(1749-1827) ? 争论不休：经典学派VS贝叶斯学派 ? 困难所在：模型复杂，计算量巨大 ? 应用广泛：不但在统计本身而且在许多其它学科上 都有重要应用 ? 欣欣向荣：电子计算机；算法；近二十多年来大发展 ? 课堂纪律：有病有事一律向系里请假，而不是向我 请假。有系里批准的假条给我，我都没异议。每次 上课都点名，出勤率关系到你的成绩。 ? 学习态度：强烈的求知（非求职）欲望。 ? 作业：每次作业都有登记评分，另有贝叶斯统计英 译中作业（12月31日完成上交。期末考试将有英 语题）。 ? 问与答：没有愚蠢的问题，只有愚蠢的回答。任何 问题都可向我提出，我会尽自己的能力，回答你们 的问题。如果没有提问，则认定你已经懂了所教内 容。 第一章 先验分布与后验分布 1.1 三种信息 一、 总体信息，即总体分布或总体所属分布族给我们的信息，譬如，“总体是 正态分布”这一句话就给我们带来很多信息：它的密度函数是一条钟形曲线；它 的一切阶矩都存在；有关正态变量（服从正态分布的随机变量）的一些事件的概 率可以计算；有关正态分布可以导出 ? 2 分布、t 分布和 F 分布等重要分布；还 有许多成熟的点估计、区间估计和假设检验方法可供我们选用。总体信息是很 重要的信息，为了获取此种信息往往耗资巨大。 二、样本信息，即从总体抽取的样本给我们 提供的信息。这是最“新鲜”的信息，并 且愈多愈好。人们希望通过对样本的加工 和处理对总体的某些特征做出较为精确的 统计推断。没有样本就没有统计学可言。 这是大家都理解的事实。 ? 基于上述两种信息进行的统计推断被称为 经典统计学，它的基本观点是把数据（样 本）看成是来自具有一定概率分布的总体， 所研究的对象是这个总体而不局限于数据 本身。 三、先验信息，即在抽样之前有关统计问题的一些 信息，一般说来，先验信息主要来源于经验和历 史资料。先验信息在日常生活和工作中也经常可 见，不少人在自觉地或不自觉地使用它。看下面 二个例子。 例1.1 英国统计学家Savage(1961)曾考察如下二个 统计实验： ? A．一位常饮牛奶的妇女声称，她能辨别先倒进 杯子里的是茶还是牛奶。对此做了十次试验，她 都正确地说出了。 ? B．一位音乐家声称，他能从一页乐谱辨别出是 海邓（Haydn）还是莫扎特（Mozart）的作品。 在十次这样的试验中，他都能正确辨别。 在这两个统计试验中，假如认为被实验者 是在猜测，每次成功的概率为0.5，那么十 次都猜中的概率为 2?10 ? ，这是一 0.0009766 个很小的概率，是几乎不可能发生的，所 以“每次成功概率为0.5”的假设应被拒绝。 被实验者每次成功概率要比0.5大得多。这 就不是猜测，而是他们的经验在帮他们的 忙。可见经验（先验信息的一种）在推断 中不可忽视，应加以利用。 例1.2“免检产品”是怎样决定的？某厂的产品每天都要抽检几件，获得 不合格率? 的估计。经过一段时间后就积累大量的资料，根据这些历史资料 （先验信息的一种）对过去产品的不合格率可构造一个分布： i P ? ? ?? i ?0，1，? n ( ) , i n 这个对先验信息进行加工获得的分布今后称为先验分布。这个先验分布是 综合了该厂过去产品的质量情况。如果这个分布的该率绝大部分集中在? =0 附近，那该产品可认为是“信得过产品”。假如以后的多次抽检结果与历史资 料提供的先验分布是一致的。使用单位就可以对它做出“免检产品”的决定，或 者每月抽检一、二次就足够了，这就省去了大量的人力与物力。可见历史资料 在统计推断中应加以利用。 基于上述三种信息（总体信息、样本信息 和先验信息）进行的统计推断被称为贝叶 斯统计学。它与经典统计学的主要差别在 于是否利用先验信息。在使用样本信息上 也是有差异的。贝叶斯学派重视已出现的 样本观察值，而对尚未发生的样本观察值 不予考虑，贝叶斯学派很重视先验收集、 挖掘和加工，使它数量化，形成先验分布， 参加到统计推断中来，以提高统计推断的 质量。忽视先验信息的利用，有时是一种 浪费，有时还会导致不合理的结论。 贝叶斯学派的最基本的观点是：任一个未知量? 都可看作一个随机 变量，应用一个概率分布去描述对? 的未知状况。这个概率分布是在抽 样前就有的关于? 的先验信息的概率陈述。这个概率分布被称为先验分 布、有时还简称为先验（Prior）。因为任一未知量都有不确定性，而在表 述不确定性程度时，概率与概率分布是量好的语言。例1.2中产品不合格 率? 是未知量，但每天都有一些变化，把它看作一个