第五章--粗差探测与稳健估计(2)教程.pptVIP

数据探测和稳健估计 赵超英 提 纲 概述 多余观测与可靠性 可靠性理论与数据探测法 稳健估计 五、稳健估计(抗差估计, Robust Estimation) 1、问题的提出 LS 是在偶然误差下最优的，不具有抗差性 当存在粗差时，可以采用Baarda数据探测法剔除粗差，对单个粗差很有效。基于假设检验的方法。 也可以采用验后方差分量估计的方法， 还可以通过其他方式改变权的大小从而减弱含有粗差的观测值对结果的影响。 一、引言 2、稳健估计原理 稳健估计应满足的条件： 稳健估计 在存在粗差的情况下，通过选择适当的估计方法，使所估参数尽可能少地受到粗差的影响，得出接近正常数据分布下的最佳的估值——稳健。 在假定模型正确时，所估计的参数具有良好的性质，是接近最优的。 在实际模型与假定模型差别较小时，其估值或统计方法所受的影响也较小； 在实际模型与假设模型有严重偏离时，其估值的性能仍能“过得去”，不致使估值受到破坏性的影响。 稳健估计与LS的区别： LS追求绝对意义上的最优；Robust追求抗差意义下的最优或接近最优，追求估值的抗差性和可靠性 薄克斯（G.E.P.Box）于1953年提出了稳健估计（Robust Estimation）概念 1964年，胡倍尔（P.J.Huber）发表了“位置参数的稳健估计”，使稳健估计真正步入到研究与应用阶段 1968年，荷兰的巴尔达（W.Baarda）教授利用数理统计方法建立了测量粗差的“数据探测”（Data-Snooping）和可靠性理论 周江文（1989）、李德仁（1988）等系统研究了粗差统计学（Robust statistics），形成了具有特色的抗差最小二乘估计理论 1991年，杨元喜提出了相关观测估计方案，建立了相关观测抗差估计理论，进一步完善了抗差估计的理论与应用 3、稳健估计的发展历史 M估计——广义的极大似然估计（重点） L估计——排序统计量线性组合估计 R估计——秩检验估计（列序统计量的秩） 4、稳健估计的分类 1、M估计是一种广义的极大似然估计，又分为选权迭代法和P范数最小法两类，由于其易于实施，是目前应用最为广泛的一种稳健估计法 2、L估计是顺序统计量线性组合型估计类，它需将观测子样按其大小排列 3、R估计是指非参数型秩检验估计 半参数法=参数+非参数 稳健估计的抗差性主要研究当实际模型分布与理论模型分布有少许差异时，估计方法的性能受到的影响如何？或估计方法抵制这些影响的能力如何？ 抗差性的度量指标，有定性抗差性、影响函数和崩溃污染率 定义：是用来判断估计统计量对异常值敏感程度的指标，反映了在不同位置上异常数据对估值所造成的相对影响的大小 ，IF越小，估值对异常值越不敏感！ 二、影响函数（Influence Function） 观测值向量为 L，联合分布为F,异常观测引起的阶跃分布 污染分布为 SCI影响因子（Impact Factor） 描述了异常值对估计函数的影响，这就是影响函数的实际含义 该式描述了删除s个含粗差的数据，对估值的影响大小 或敏感程度，即抗差性的一个量度 观测值向量为 L，联合分布为F,异常观测引起的阶跃分布 污染分布为 未知参数为 则在分布F处，观测值L对泛函 的影响函数为 最小二乘 残差平方和最小 大残差导致平方和迅速增大，为了使 ，则估值必然要迁就大残差，导致整个估值受影响。即LS不具有抗差性。 当存在大残差时，用其他估计代替最小二乘 三、M估计 Huber于1960年代提出了M估计，即为极大似然估计。 1、问题的提出 2、极大似然估计 设有参数向量X，是未知的非随机变量，观测值为L，用于估计参数 X，由极大似然估计有 其中f是观测值L的概率密度函数。 Huber（1964） 式中 基于以上准则的参数估计，就是广义极大似然估计，简称M估计 3、M估计（广义极大似然估计），Huber（1964） 选取不同的 函数，可得到不同的M估计； M估计不是一个估计，而是一类估计。 4、M估计的原理 在测量平差中，观测量L的残差为V，权为P，且独立。 M估计的函数 可取为 测量中的M估计准则为： 例： 一定要掌握等价权的思想！ 1、选权迭代法原理 四、选权迭代法 间接平差的误差方程式为 M估计准则： 令： 抗差最小二乘法 2、选权迭代法解算步骤 1、建立数学模型 2、按最小二乘法求解参数估值及其残差 3、求解观测值的等价权矩阵，迭代计算，设定阈值，使满足 4、最后结果 该方法的关键是确定等价权。选择不同的 Rou函数，就构成不同的权函数，通常权函数是一个在平差过程中随改正数变化的量，经过多