13 拟合优度检.docVIP

13 拟合优度检验 教学目标 Pearson的思想 -分布的特征 拟合优度检验(对一组观察频数与期望分布进行比较) -拟合检验法用于独立性检验(确定两种分类标准是否相关) 在前面的章节我们讨论的是间隔尺度或比率尺度的数据的检验问题. 我们对单总体均值和两总体均值进行假设检验. 对于这些检验, 我们假定其总体服从正态分布. 我们知道名义尺度数据是“级别最低”或最初级的数据. 对于这种度量类型的数据, 可以分成若干个类, 这些类是没有自然顺序的. 本讲将讨论适用于名义尺度数据的检验. 在数理统计学中, 这类检验属于非参数检验. 它所研究的是如何用子样去拟合母体的分布, 其方法主要有拟合检验法和Kolmogorov检验法等. 本讲主要讨论的是-拟合检验法及其应用. 为此先主要讨论拟合检验法的思想和步骤. 13.1 Pearson的思想, 拟合优度检验 1938年, K. Pearson的儿子---E. S. Pearson(他也是著名统计学家), 曾在一本关于他父亲的生平和工作的著作中, 提到K. Pearson对统计的任务的看法是“To predict from past what will happen in the future”(从以往去预测将来会发生什么), 以及在19世纪与20世纪之交统计的当务之急是“What was needed was a method for translating observed data into a predicative model”(需要的是一种方法, 以将观察数据转化为一个可用于预测的模型). Pearson所谓“过去”指的是已有的观察数据, “将来”则是指未来观察的可能结果. 要做到由过去预测未来, 必须用一个统计模型, 确切地说, 就是一条分布(密度)曲线, 去拟合已有的数据, 然后用拟合的分布去计算在未来的观察中出现各种值的可能性大小. 为此, Pearson提出了后来以他名字命名的曲线系, 希望在这个系统中, 找出一条曲线, 与已有的观测数据去拟合. 这样就需要处理以下两个问题: (1) 从曲线系中怎样去确定一条曲线; (2) 估量拟合的程度如何. 为了解决第(1)个问题, 引出了他的矩估计法. 关于他的第(2)个问题, Pearson引进了统计量. 问题: 设总体的分布函数为为未知, 为来自的样本, 如何利用据此样本去检验假设: (即检验假设: 的分布函数为). 其中为已知函数. 即如果用分布函数去拟合样本, 则拟合的优良程度如何? 常称为理论分布. (与格利汶科定理相联系) 处理原则: 设法确定一个能反映实际数据与理论分布偏差的量 如果超过某个界限, 则认为理论分布与实际数据不符, 因而有可能否定. 然而问题的“非此即彼”提法有点勉强. 因为理论分布与实际数据, 一般没有截然的符合与不符合, 更恰当的提法是: 实际数据与理论分布的符合程度如何? 对这样的问题我们不是以“是”或“否”的形式来回答, 而是提供一个0,1之间的数作为符合程度的数量刻画, 这个数据称为“拟合优度”. 而关于的检验常称为“拟合优度检验”(Goodness of fit test). 由于可以有种种不同的方法来定义, 因此可以有种种不同的拟合优度检验. 先看有限离散的情形, 要对 (其中两两不同, )进行拟合优度检验. 对进行次观察, 得样本, 据此检验是否正确. 设是中等于的个数, 则, 即. 称为这个“类”的理论值, 称为经验值或观测值. 类 别: 理论值: 经验值: 例13.1 (离散且有限) 检验假设(), , .用 作为衡量理论分布与实际数据的偏差. 设总体的分布函数为,理论分布函数为完全已知. 检验假设: . 设随机变量的值域是一维的, 则选择适当的常数, 满足 从而把分成个互不相交的区间: (若总体是维的而, 则要把分解成个互不相交的区域) 记 其中, 且的选取使得, 表示总体落入内的概率. 以表示样本落入内的频数(), 落入内的理论频数为, 作Pearson统计量 定理13.1 在成立的条件下, 的极限分布为. 证明见附录Pearson拟合优度定理. 这样对给定的显著性水平, 检验规则为: 时, 拒绝; 时, 接受. 定理13.1对证明如下: 利用, , 代入中, 并整理, 得 假如根据一组数据算出值为, 我们提出如下问题: 在成立的条件下, 出现像这么大的差异或更大差异的可能性有多大? 将其可能性表示为, 则 其中为的分布函数. 将解释为数据对理论分布的“拟合优度”. 拟合优度愈大, 就表示数据与理论之间的符合愈好. 例13.2 某厂宣称自己产品的合格率达到99%,