第一课：概率统计基础.ppt

本节课内容 Chp10：假设检验 假设检验 例：考虑某种化学物质是否致癌 将一些老鼠随机分成两组，其中一组置于正常环境，另一组暴露于该化学物质 原假设/零假设：两组的癌症发病率相同 备择假设：两组的癌症发病率不相同 若暴露于化学物质的一组的癌症发病率远远高于另一组，则我们拒绝原假设，得到结论为：证据更支持备择假设。 换句话说，证据表明该化学物质会引起癌症。 假设检验 假设检验的形式化描述为： 根据来自分布 的样本数据 , 其中 我们希望检验： 原假设： 对 备择假设： 其中 为整个样本空间 假设检验为一个规则，确定对哪些样本 ，做出拒绝 的决定。 假设检验 双边假设： 单边假设： 拒绝域 令 为随机变量 的取值范围，我们通过找到一个拒绝域 进行假设检验 但根据全部数据 设计一个规则通常很难 常用方法：寻找一个检验统计量 ，统计量 的大小可以反映对原假设 有利或不利。这样R的形式为 假设检验中的问题 原假设和备择假设的确定 统计量及其临界值的选择 假设检验的基本思想 概率反证法：小概率原理 假设命题 是符合实际情况的，即承认 为真，在这种条件下进行统计推导。若结果得到了矛盾的结果，则认为命题 不成立，因而接受反命题 矛盾意为“小概率事件”，即发生的概率非常之小，以至于我们原则上认为仅仅一次观测是不会出现的。那么如果出现，就认为有了矛盾。 与数学的反证法不同是： 在数学证明中，一旦 命题被推翻，否命题就被完全接受。 在统计学中，否定假设 时，还应指出“冒多大的风险”，不是简单的完全否定。比如，在显著性水平α=0.05下拒绝 ，就是说拒绝 冒的风险不超过0.05。 原假设 vs. 备择假设 在假设检验中，常常把那些保守的、历史的、经验的结论取为原假设，而把那些猜测的、可能的、预期的结论作为备择假设 原假设通常应该受到保护，没有充足的证据不能被拒绝。而备择假设只有当零假设被拒绝后，才能被接受，这就决定了零假设与备择假设不是处于对等的地位。 或者我们可以反过来说，备择假设可能是我们真正感兴趣的，接受备择假设可能以为得到有某种特别意义的结论，或意味着采取某种重要决断。因此对备择假设应取慎重态度，没有充足的证据不能轻易接受。 原假设 vs. 备择假设 在假设检验中，如果数据/证据强烈反对原假设，我们拒绝原假设，即认为原假设不成立 当证据不足以反对原假设，这时我们称拒绝原假设失败，但并不意味着原假设是正确的，可能的情况有 原假设确实是正确的 原假设是错误的，只是该检验功效不够 功效低，犯第二类错误的概率大（即虽然原假设为假，但仍然保留原假设） 法律上的类比 原假设：被告无罪 备择假设：被告是有罪的 原则：无罪推论（保护原假设） 最后的判决：当有明显犯罪证据时，法官才判决被告有罪 证据明显：由临界值决定（法律条文的规定） 法律条文的严厉程度，决定了对被告的保护程度 如乱世用重典，即法律条文严厉，保护被告的程度弱 不管怎样制定条文，总有好人被冤枉，总有坏人漏网，即总会犯错误 如在高考中，一个水平很高的人可能这次考试分数低，而不被录取，这样我们做错了错误的选择，即拒绝其进入高校继续学习 相反，某个人可能特别幸运，本来水平一般，但考试题都被他复习到了，成绩很高，从而被录取 但这样的事件是小概率事件，所以我们犯错误的可能性不是很大 两类错误 假设检验是根据样本的信息并依据小概率原理，作出保留还是拒绝 的判断。由于样本具有随机性，因而假设检验所作出的结论有可能是错误的 这种错误有两类: 当原假设 为真，观察值却落入拒绝域， 而作出了拒绝 的判断，称做第一类错误, 又叫弃真错误。犯第一类错误的概率记为 α越小，法律条文越严厉，表示原假设为真（被告无罪），我们却做出拒绝的判断（判其有罪） 当原假设 不真，而观察值却没有落入拒绝域，而作出了保留 的判断，称做第二类错误，又叫纳伪错误。犯第二类错误的概率记为 两类错误 错误的概率 当 时，若 ，则检验会犯第一类错误。则犯第一类错误的概率为 当 时，若 ，则检验会犯第二类错误。则犯第二类错误的概率为 所以 包含了拒绝域为R的检验的全部信息 功效函数 包含了拒绝域为R的检验的全部信息 拒绝域为R的假设检验的功效函数 (Power Function)