中国人民大学--非参数统计(PPT-49)第1章绪论.ppt

第一章 绪 论 主要内容 1. 统计的实践 2. 非参数统计方法简介 3. 参数统计过程与非参数统计的比较 4. 非参数统计的历史 5. 必要的准备知识 1. 统计的实践 我们周围的世界 符号和数据就是整个世界。 数据繁衍，信息匮乏：观察数据激增，设计数据细分。 数据的复杂性和不确定性的特点更为突出。 数据分析方法和手段不足。 统计的方法论 就方法论而言，统计分析主要解决两方面的问题： 寻找数据内部差异中共同的特征。 寻找数据之间本质的差异。 统计分析的目标是从数据中发现比数据本身更为有用的知识 2. 非参数统计方法简介 参数方法 定义：样本被视为从分布族的某个参数族抽取出来的总体的代表，而未知的仅仅是总体分布具体的参数值，推断问题就转化为对分布族的若干个未知参数的估计问题，用样本对这些参数做出估计或者进行某种形式的假设检验，这类推断方法称为参数方法。 比如： （1）研究保险公司的索赔请求数时，可能假定索赔请求数来自泊松分布P(a); （2）研究化肥对农作物产量的影响效果时，平均意义之下，每测量单元（可能是）产量服从正态分布N(a,b). 一个典型的参数检验过程 1. 总体参数 Example: Population Mean 2. 假定数据的形态为 Whole Numbers or Fractions Example: Height in Inches (72, 60.5, 54.7) 3. 有很强的假定 Example: 正态分布 4. 例子: Z Test, t Test, ?2 Test 一个例子： 非参数检验过程 1.不涉及总体的分布 Example: Probability Distributions, Independence 2. 数据的形态各异 定量数据 定序数据 Example: Good-Better-Best 名义数据 Example: Male-Female 3.例子: Wilcoxon Rank Sum Test/Run Test 3. 参数统计与非参数统计比较 非参数检验的优点 对总体假定较少，有广泛的适用性，结果稳定性较好。 1. 假定较少 2. 不需要对总体参数的假定 3. 与参数结果接近 针对几乎所有类型的数据形态。 容易计算 在计算机盛行之前就已经发展起来。 非参数检验的弱点 1. 可能会浪费一些信息 特别当数据可以使用参数模型的时候。 Example: Converting Data From Ratio to Ordinal Scale 2. 大样本手算相当麻烦 3. 一些表不易得到 4. 非参数统计的历史 非参数统计的历史 非参数统计的形成主要归功于20世纪40年代～50年代化学家F.Wilcoxon等人的工作。Wilcoxon于1945年提出两样本秩和检验，1947年Mann和Whitney二人将结果推广到两组样本量不等的一般情况； Pitman于1948年回答了非参数统计方法相对于参数方法来说的相对效率方面的问题； 非参数统计的历史（续） 60年代中后期，Cox和Ferguson最早将非参数方法应用于生存分析。 70年代到80年代，非参数统计借助计算机技术和大量计算获得更稳健的估计和预测，以P.J.Huber以及 F.Hampel为代表的统计学家从计算技术的实现角度，为衡量估计量的稳定性提出了新准则。 90年代有关非参数统计的研究和应用主要集中在非参数回归和非参数密度估计领域，其中较有代表性的人物是Silverman和J. Fan。 5.必要的准备知识 (1) 假设检验回顾 问题： ( a ) 新引进的生产过程是否优于旧过程？ （b）几种不同的肥料哪一种更有效？ （c）大学生的就业率与城市失业率之间是否存在关系？ 内容 （a）假设的真正涵义和作用 （b）如何选择零假设和备择假设 （c）检验的p-值和显著性水平的作用 （d）两类错误 （e）置信区间和假设检验之间的关系 例2： Poisson分布 H0: 1 H1: 按照假设检验的步骤，可以选取统计量 为检验统计量，检验的目的是使得 同样显著性水平之下的检验在不同样本量下的势函数 （2）检验的相对效率 渐进效率的概念 分位数和非参数置信区间 秩检验统计量 无结点秩的定义 2.有结数据的秩 设样本 取自总体X的简单随机抽样，将数据排序后,相同的数据点组成一个“结”，称重复数据的个数为结长。 例1：3.8 3.2 1.2 1.2 3.4 3.2 3