统计应用的陷阱.pptVIP

统计热的原因 统计被人看重的原因是供不应求 一方面是统计的巨大市场。 几乎没有领域和统计没有关系。这是和统计为应用服务的使命及各领域工作者的实践分不开的。 统计为什么这样火爆 另一方面是统计专业所需要的包括数学、统计和计算机在内的功底，绝不是通过任何速成训练就能够达到的。 学数学的改行学什么的都有。但即使是学纯粹数学的，改行学统计，也不象学数学的改行力学或物理那么容易 一句话，统计人材缺口巨大。 当然，这是世界总的形式 两股力量 有限的专业统计工作者的主要任务，则是根据各领域的需要，发展新的统计方法和理论，建立新的模型，发展新的计算方法。这也要求他们也参与到其他领域的统计实践中去。 而大部分统计实践则由各领域非统计出身的人员来实行 统计应用与学科发展 然而，统计的广泛应用和进行统计工作的人数迅速增加，也导致人们对统计应用中可能出现的问题的忽视。 实际上，在统计应用中有许多陷阱；它们可能使统计推断的结果不可靠、不可信、甚至导致灾难性后果。 统计应用陷阱产生的根源 统计陷阱的产生和统计学科本身的性质及其发展的历史进程有关。包括： 统计的数学背景及其为实际服务的使命间的关系 统计教材对现实世界的理想化 统计课本的编写特点 使用统计的人对统计概念的理解 统计应用中一系列决策的任意性 统计软件的“傻瓜化”等等。 统计与数学的区别 统计需要大量的数学; 现代统计的基础也是数学家所奠定的 数学是一个“是非明确”的理想世界 它自我形成严格的封闭逻辑体系 只要逻辑正确，最多得不出结果，但不会犯错误； 这也是以演绎为主的数学魅力之所在 数学教科书也因此没有负面的内容。 统计与数学的区别 但以归纳为主要思维方式的统计是描述现实世界的。 应用于各领域的统计需要建立各种数学模型来近似现实世界。 统计中的数学模型本身并不形成完整封闭的逻辑体系；而且结论也绝非确定性的。 统计的非确定性恰恰说明它很适合于研究不确定的现实世界。 统计过程是一系列主观决策组成的 统计应用的每一环节都可能出问题。 人们按照自己的想法收集数据(信息)； 人们对现实世界的认识是某些用数学语言表示的模型，而这些模型包含一些想象的和不易验证的假定 这些模型仅仅是对现实的某种近似 这类近似模型存在的一个必要条件是它们必须能够被人们解出来 统计过程是一系列主观决策组成的 模型的解可能是近似模型的精确解 也可能是近似模型的近似解 它们可能有在一定概念下的“最优性” 以数学语言描述的结论和可以适用于现实世界的结论之间还有容易被忽略但可能是致命的鸿沟； 也就是说，统计显著不一定等价于实际显著；有时差别相当大。 一个“简单”的例子 比如，抽样调查中，大家最熟悉的关于比例置信区间的公式(n是样本量, x是“成功”数目) 显然 统计应用的每一部分都带有主观性或任意性。 从有某些“目的”地收集数据到建立基于某些假定和猜想的模型、 从寻找解的方法到对计算机输出的解释，充满了危险和挑战 统计教科书把现实世界大大简化了 目前多数的数理统计教科书仍然遵循着上个世纪三四十年代遗留下来的传统。充满了与数学模型有关的定义、定理、命题、推导和证明。 但对于背后的统计思想的介绍不充分，也不强调这些充满假定的数学模型都是对现实世界的简化。(按照杂志文章的传统?) 有多少人真正认识到，所有统计教科书中的数学假定都是无法用数据验证的？这些模型有多大程度可信？ 统计教科书把现实世界大大简化了 经过这样的统计教育，人们(特别是缺乏实际经验的学生)有可能把一个人造的、但又并不完全虚幻的世界当成真实世界。 为了人们容易理解，教科书把本来复杂的世界进行简化，是完全必要的。 但如果已经掌握了某领域一定的知识，就有必要认识到书本和现实之间的差距。 教科书倾向于把世界过于理想化并不是大问题，但如果我们这些写书的教师或“权威”自己也这么认为, 问题就没这么简单了. 统计软件在不断大量生产垃圾 统计软件的发展推广和普及了统计，统计走出统计学家的俱乐部, 变成了大众的游戏 输入数据，做几个选项，则计算机会输出大量漂亮的结果和图表。 这种大规模生产结果的方式使得实际工作者犯错误的机会大大增加。 人们往往不能意识到计算机产生的垃圾可能大大多于有用的结果。 统计过程任何一个步骤的失误都毫无警告地包含在计算机输出之中 数据收集时的问题 收集数据和研究的对象有关系。也和人们心中的模型有关。 模型的选择带有主观性, 很可能把无关的变量引入了模型, 而把有关的忽略了 这样，根据变量收集的数据做出的统计推断就不可靠了。 经常一方面耗费资源收集了大量的数据，但由于其中缺乏有关变量的观测值而得不到可靠的结果。 抽样调查数据是典型的垃圾源 人们喜欢设计有许多问题的问卷，某全国性调查的问题数目甚至达到四百多个。 其目的肯定是为了得到更多的信息；比