23离群值的判断与处理.doc

第四章 粗大误差及离群值的判断与处理 §4·1 概述 一、概念 （一）粗大误差 测量过程中出现的，明显超出在规定条件下预期值的误差，即：指明显超出统计规律预期值的误差，称为粗大误差，又称为疏忽误差、过失误差或简称粗差。 （二）离群值 离群值是指样本中的一个或几个观测值，它们离开其他观测值较远，暗示它们可能来自不同的总体。 或者可以理解为：在重复性条件或复现性条件下，对同一量所进行的重复测量结果中，那些明显偏离其他测量值，而造成偏离的原因又不明的测量值称为离群值。或者说含有粗大误差的测量值称为离群值。 （三）统计离群值 在剔除水平下统计检验为显著的离群值。 （四）岐离值 在检出水平下显著，但在剔除水平下不显著的离群值。 （五）检出水平 为检出离群值而指定的统计检验的显著性水平。（除非根据另有约定，显著性水平应为0.05） （六）剔除水平 为检出离群值是否高度离群而指定的统计检验的显著性水平。（剔除水平的值应不超过检出水平的值，除非另有约定，值应为0.01）。 二、离群值产生原因与判断 （一）离群值产生的原因 离群值按产生原因分为两类： 1．第一类离群值是总体固有变异性的极端表现，这类离群值与样本中其余观测值属于同一总体； 2．第二类离群值是由于试验条件和实验方法的偶然偏离所产生的结果，或产生于观测、记录、计算中的失误，这类离群值与样本中其余观测值不属于同一总体。如：测量者工作责任心不强，工作过于疲劳，对仪器熟悉与掌握程度不够等原因，引起操作不当，或在测量过程中不小心、不耐心、不仔细等，从而造成错误的读数或错误的记录；由于测量条件的意外变化，引起仪器示值或被测对象位置的改变而产生粗大误差。如机械冲击、外界震动、电网供电电压突变、电磁干扰等环境条件意外地改变等，引起仪器示值或被测对象位置的改变而产生粗大误差；测量仪器内部的突然故障。如机械部件突然破损、电子元器件突然失效等。 （二）离群值的判断 对离群值的判断通常可根据技术上或物理上的理由直接进行，例如当试验者已经知道试验偏离了规定的试验方法，或测量仪器发生问题等。当这些理由不明确时，可利用规定的方法判定。 由于数据的分布形式不同，如正态分布、指数分布、连续型（Ⅰ型）分布等，判断离群值的方式方法也有差异，本书只就正态分布情形进行讨论。 三、离群值的情形与判断程序 （一）离群值的情形 根据GB/T 4883规定，离群值有三种情形： 1．上侧情形：根据实际情况或以往经验，离群值都为高端值； 2．下侧情形：根据实际情况或以往经验，离群值都为低端值； 3．双侧情形：根据实际情况或以往经验，离群值既可为高端值，也可为低端值。 上侧情形和下侧情形统称为单侧情形；当无法确认为单侧情形的，按双侧情形处理。 （二）离群值的判断程序 1．单个离群值的判断程序 （1）依实际情况或以往的经验选定适宜的检验规则； （2）确定适当的显著性水平； （3）根据显著性水平及样本量，确定检验的临界值； （4）由观测值计算相应统计量的值，根据计算所得统计量的值与临界值的比较结果作出判断。 2．多个离群值的判断程序 当存在多个离群值时，重复使用上述程序进行检验。若没有发现离群值，则整个检验判断工作结束；若检出离群值，当检出的离群值总数超过上限时，应停止检验，对样本应慎重处理，否则，采用相同的检出水平和相同的规则，对除去已检出的离群值后余下的观测值继续检验。 四、离群值处理的方式与规则 （一）离群值处理的方式 离群值处理的方式有： 1．保留离群值并用于后续数据处理； 2．在找到实际原因时修正离群值，否则予以保留； 3．剔除离群值，不追加观测值； 4．剔除离群值，并追加新的观测值或用适宜的插补值代替。 （二）离群值的处理规则 对于检出的离群值，应尽可能寻找技术上和物理上的原因，作为处理离群值的依据。应根据实际问题的性质，综合衡量寻找和判断产生离群值的原因所付出的代价、正确判定离群值的收益以及错误剔除正常观测值的风险，以确定实施下述规则之一： 1．若在技术上或物理上找到了产生离群值的原因，则应剔除或修正；若未找到产生离群值的技术上或物理上的原因，则不得剔除或进行修正。 2．若在技术上或物理上找到产生离群值的原因，则应剔除或修正；否则，保留岐离值，剔除或修正统计离群值；在重复使用同一检验规则检验多个离群值的情形，每次检出离群值后，都要再检验它与否为统计离群值。若某次检出的离群值为统计离群值，则此离群值及在它前面检出的离群值（含岐离值）都应被剔除或修正。 3．检出的离群值（含岐离值）都应被剔除或修正。 4．备案 被剔除或修正的观测值及其理由应予以记录，以备查询。 §4·2 离群值判断规则（重点） 本节主要依据GB/T 4883—2008《数据的统计处理和解释 正态样