现代科技综述知识文库：影响评价与数据诊断.pdf

现代科技综述系列—— 影影响响评评价价与与数数据据诊诊断断 科技是人类区别于动物的重要文明之一， 是人类对自然规律研究 利用的学科。 本文提供对科技基本概念 “影响评价与数据诊断” 的解读，以供大家了解。 影影响响评评价价与与数数据据诊诊断断 在统计学的研究中，为了研究某个问题，常常去收集 与该问题有关的数据，然后假定一个适当的模型，去 分析这些数据，进行统计推断，进而做出有关结论。 这里有两方面的问题，一方面，任何模型都是对客观 复杂过程的一种近似描述，它不可避免地要包含某些 假定，甚至模型本身也是一种假定，那么自然要问模 型本身是否真的近似反映了实际问题?它与数据中的绝 大多数数据是否一致?另一方面，如果模型正确，那么 在实际收集数据过程中，由于疏忽或失误常出现一些 错误数据，这些错误数据的存在是否会严重干扰所作 的统计结论?如果会，怎么诊断出来?怎么评价这种干 扰的程度?这些问题都是在用统计方法解决实际问题时 必须做出回答的。 影响评价与数据诊断正是因回答这些问题而发展起来 的一种统计方法。 这种方法是通过两种扰动方式：一种是剔除数据，另 一种是对数据的微小扰动，研究某一关心的目标在扰 动前后的变化，进而找出离群值或异常值点(outlier)， 高杠杆点(high leverge points) 强影响点(influentical points)，正是通过诊断，可以发现数据之间更精确的结 构，从而对模型进行改进。 这无疑会提高统计推断的准确性。 影响评价与数据诊断研究的比较成熟的成果是对线性 回归模型中相关数据的诊断以及数据对目标的影响。 这方面的内容形成回归诊断的内容。 最早，人们发现回归分析中的残差包含了许多模型假 设与数据的信息，因此残差成为回归诊断最基本也是 最重要的诊断统计量。 常用的是内(外)t化残差，通过它可以诊断数据中的离 群值。 Anscombe Tukey(19 3)、Ellenberg(1973)， David(1981)等都研究了这种类型的残差。 由于残差总是与线性回归的投影阵也称帽子阵相联 系，所以帽子阵在残差分析中占有重要地位。 Hoaglin Welsch(1978)指出通过它可以诊断出设计空间 的高杠杆点。 也可以看成是设计空间的离群值点。 回归诊断的另一重要内容是影响分析。 在正常情况下，数据中的每一组数据对统计推断的影 响应该相差不多。 如果某个数据影响突出，那么包含这组数据的模型 不包含这组数据的模型所作出的统计推断就会相差很 大。 我们称这组数据为强影响点。 找出合适的统计量度量影响，并给出标准，是影响分 析的主要任务。 最初的影响分析，主要考虑剔除数据对回归估计以及 预报方面的影响。 文献中提出的度量影响的量测有3类：一类是距离型量 测。 它们是建立在Hample(1974) 的影响函数基础上的，又 可统一为Cook 的距离函数，以Cook距离(1977) Welsch与Kuh(1980) 的W －K统计量为代表。 另一类是体积型量测。 主要有Andrews-Pregibon(1978)统计量、协方差比统计 量以及Cook Weisberg(1980) 的置信域的体积比等。 再一类是Bayes型量测。 主要由Johnson(1979)做出。 后来Cook(198 )从对数据的微小扰动着手，考虑扰动 前后似然函数的变化，利用微分几何中的曲率研究数 据及模型的局部影响。 这一方法有其广泛的适用性，得到了许多统计学家的 重视。 在考虑实际问题时，如果实际数据的许多点都与既定 模型有很大的偏差，则常常是保留模型，通过寻求对 数据的一个适当的变换，使变换后的数据能很好地拟 合模型，然后再进行有关统计推断。 用得最广泛的一类变换是B