正态样本异常值的判断和处理.ppt

关于正态样本异常值的判断和处理第1页，共29页，星期日，2025年，2月5日异常值（或异常观测值）是指样本中的个别值，其数值明显偏离它（或它们）所属样本的其余观测值。异常值可能是总体固有的随机变异性的极端表现。这种异常值和样本中其余观测值属于同一总体。异常值也可能是由于试验条件和试验方法的偶然偏离所产生的后果，或产生于观测、计算、记录中的失误。这种异常值和样本中其余观测值不属于同一总体。第2页，共29页，星期日，2025年，2月5日应用条件：所考查样本中诸观测值(或经过一定的函数变换后得到的值），除了个别异常值外，其余大部分值（样本主体）来自同一正态总体或近似正态总体。第3页，共29页，星期日，2025年，2月5日判断异常值的统计学原则本标准在下述不同情形下判断样本中的异常值：上侧情形：根据以往经验，异常值都为高端值；下侧情形：根据以往经验，异常值都为低端值；双侧情形：异常值是在两端都可能出现的极端值。注：上侧情形和下侧情形统称单侧情形。第4页，共29页，星期日，2025年，2月5日判断单个异常值的检验规则根据实际情况，选定适宜的异常值检验规则；指定为检出异常值的统计检验的显著性水平α，简称检出水平；根据α和观测值个数n确定统计量的临界值；将各观测值代入检验规则中给出的统计量，所得值若超过临界值，则判断事先确定待查的极端观测值为异常值；否则就判断“没有异常值”。检出水平α的宜取值是5%，1%（或10%）。第5页，共29页，星期日，2025年，2月5日判断多个异常值的检验规则在允许检出异常值个数可大于1的情形，本标准规定的方法是重复使用同一种判断单个异常值的检验规则，即用指定的检出水平和符合2.3规定的规则首先检验全体观测值，若不能检出异常值，则整个检验停止；若检出一个异常值，就再用相同的检出水平和相同的规则，对除去已检出的异常值后余下的观测值继续检验……直到不能检出异常值，或检出的异常值个数超过上限为止。第6页，共29页，星期日，2025年，2月5日处理异常值的一般规则对检出的异常值，应尽可能寻找产生异常值的技术上的、物理上的原因，作为处理异常值的依据。处理异常值的方式有：异常值保留在样本中参加其后的数据分析；允许剔除异常值，即把异常值从样本中排出；允许剔除异常值，并追加适宜的观测值计入样本；在找到实际原因时修正异常值。第7页，共29页，星期日，2025年，2月5日a.对任何异常值，若无充分的技术上的、物理上的说明其异常的理由，则不得剔除或进行修正。b.异常值中除有充分的技术上的、物理上的说明其异常的理由外，表现统计上高度异常的，也允许剔除或进行修正，其意义是：指定为判断异常值是否高度异常的统计检验的显著性水平α*，简称剔除水平，其值小于检出水平α；实施时，按2.3规定进行检验后，立即对检出的异常值，再按2.3规定以剔除水平α*代替检出水平α进行检验，若在剔除水平下此检验是显著的，则判第8页，共29页，星期日，2025年，2月5日此异常值高度异常。在重复使用同一检验规则的情况下，每次检出了异常值后都要检验它在剔除水平下是否高度异常。若某次检验中检出的异常值为高度异常，则这个异常值及其它前面检出的异常值都可被剔除或进行修正。除特殊情况外，剔除水平一般采用1%或更小，而不宜采用大于5%的值。在选用剔除水平的情况下，检出水平可取5%或再大些。c.检出的异常值都可被剔除或进行修正。第9页，共29页，星期日，2025年，2月5日未知标准差情形下判断和处理异常值的规则

----检出异常值的个数不超过1格拉布斯检验法1上侧情形检验法a.对于观测值x1,…xn,计算统计量Gn=（x（n）-）/s的值，这里x（n）是最大观测值，和s是样本均值和样本标准差，即=（x1+…+xn）/n,s=…;b.确定检出水平α，在表A2查出对应n，α的临界值G（1-α（n））；c.当Gn＞G（1-α（n）），判最大值x（n）为异常值,第10页，共29页，星期日，2025年，2月5日否则，判断“没有异常值”；d.在给出剔除水平α*的情况下，在表A2查出对应n，α*的临界值G（1-α*（n））。当Gn＞G（1-α*（n）），判断最大值x（n）高度异常；否则，判断“没有高度异常的异常值”。2下侧情形检验法与上侧情形检验法规则相同，但要使用统计量G′n=（-x（1））/s代替Gn，要判断的是最小值x（1）。第11页，共29页，星期日，2025年，2月5日3双侧情形检验法a.计算Gn和G′