06总体参数的假设检验.ppt

统计学 ─从数据到结论 第六章 总体参数的假设检验 如果一个人说他从来没有骂过人。他能够证明吗？ 要证明他没有骂过人，他必须出示他从小到大每一时刻的录音录像，所有书写的东西等等，还要证明这些物证是完全的、真实的、没有间断的。这简直是不可能的。 即使他找到一些证人，比如他的同学、家人和同事，那也只能够证明在那些证人在场的某些片刻，他没有被听到骂人。 反过来，如果要证明这个人骂过人很容易，只要有一次被抓住就足够了。 看来，企图肯定什么事物很难，而否定却要相对容易得多。这就是假设检验背后的哲学。 科学总往往是在否定中发展 在假设检验中，一般要设立一个原假设（上面的“从来没骂过人”就是一个例子）； 而设立该假设的动机主要是企图利用人们掌握的反映现实世界的数据来找出假设与现实之间的矛盾，从而否定这个假设。 在多数统计教科书中(除理论探讨外)假设检验都是以否定原假设为目标。 如否定不了，说明证据不足，无法否定原假设。但不能说明原假设正确。 就像一两次没有听过他骂人还远不能证明他从来没有骂过人。 §6.1 假设检验的过程和逻辑 先要提出个原假设，比如某正态总体的均值等于5(m=5)。这种原假设也称为零假设(null hypothesis)，记为H0。 与此同时必须提出备选假设(或称为备择假设，alternative hypothesis)，比如总体均值大于5（m5）。备选假设记为H1或Ha。形式上，这个关于总体均值的H0相对于H1的检验记为 §6.1 假设检验的过程和逻辑 备选假设应该按照实际世界所代表的方向来确定，即它通常是被认为可能比零假设更符合数据所代表的现实。 比如上面的H1为m5；这意味着，至少样本均值应该大于5； 至于是否显著，依检验结果而定。 检验结果显著(significant)意味着有理由拒绝零假设。因此，假设检验也被称为显著性检验(significant test)。 §6.1 假设检验的过程和逻辑 有了两个假设，就要根据数据来对它们进行判断。 数据的代表是作为其函数的统计量；它在检验中被称为检验统计量（test statistic）。 根据零假设（不是备选假设！），可得到该检验统计量的分布；再看这个统计量的数据实现值（realization）属不属于小概率事件。 §6.1 假设检验的过程和逻辑 也就是说把数据代入检验统计量,看其值是否落入零假设下的小概率范畴； 如果的确是小概率事件，那么就有可能拒绝零假设，或者说“该检验显著，” 否则说“没有足够证据拒绝零假设”，或者“该检验不显著。” §6.1 假设检验的过程和逻辑 注意：在我们所涉及的问题中，零假设和备选假设在假设检验中并不对称。 因检验统计量的分布是从零假设导出的，因此，如果发生矛盾，就对零假设不利了。 不发生矛盾也不能说明零假设没有问题。 §6.1 假设检验的过程和逻辑 在零假设下，检验统计量取其实现值及（沿着备选假设的方向）更加极端值的概率称为p-值（p-value）。 如果得到很小的p-值，就意味着在零假设下小概率事件发生了。 如果小概率事件发生，是相信零假设，还是相信数据呢？ 当然多半是相信数据，拒绝零假设。 §6.1 假设检验的过程和逻辑 但小概率并不能说明不会发生，仅仅发生的概率很小罢了。拒绝正确零假设的错误常被称为第一类错误（type I error）。 在备选假设正确时反而说零假设正确的错误，称为第二类错误（type II error）。在本书的假设检验问题中，由于备选假设不是一个点，所以无法算出犯第二类错误的概率。 §6.1 假设检验的过程和逻辑 零假设和备选假设哪一个正确，是确定性的，没有概率可言。而可能犯错误的是人。 涉及假设检验的犯错误的概率就是犯第一类错误的概率和犯第二类错误的概率。 负责任的态度是无论做出什么决策，都应该给出该决策可能犯错误的概率。 §6.1 假设检验的过程和逻辑 到底p-值是多小时才能够拒绝零假设呢？也就是说，需要有什么是小概率的标准。 这要看具体应用的需要。但在一般的统计书和软件中，使用最多的标准是在零假设下（或零假设正确时）根据样本所得的数据来拒绝零假设的概率应小于0.05，当然也可能是0.01，0.005，0.001等等。 这种事先规定的概率称为显著性水平(significant level)，用字母a来表示。 §6.1 假设检验的过程和逻辑 a并不一定越小越好，因为这很可能导致不容易拒绝零假设，使得犯第二类错误的概率增大。 当p-值小于或等于a时，就拒绝零假设。所以，a是所允许的犯第一类错误概率的最大值。当p-值小于或等于a时，就说这个检验是显著的。 无论统计学家用多大的a作为显著性水平都不能脱离实际问题的背景。统计显著不一定等价于实际显著。反过来也一样。 §6.1 假设检验的过程和逻辑 归纳起来，假设检验的逻