稳健回归(M估计).docVIP

稳健回归（M估计）方法简介 浙江大学 唐启义 估计的稳健性 Robustness 概念指的是在估计过程中产生的估计量对模型误差的不敏感性。因此稳健估计是在比较宽的资料范围内产生的优良估计。如在独立同分布正态误差的线性模型中，最小二乘估计 LSE 是有效无偏估计。然而当误差是非正态分布时，LSE不一定是最有效的。但误差分布事先不一定知道，故有必要考虑稳健回归的问题。 稳健回归 Robust Regression 估计，如误差为正态时，它比LSE稍差一点，但误差非正态时，它比LSE要好得多。这种对误差项分布的稳健特性，常能有效排除异常值干扰。DPS提供了稳健回归中常用的最大似然型的M估计。 一般回归模型: 这里β1,…,βp为未知回归系数，e1,…,en…独立同分布，均值为0。最小二乘法是找使表达式达到最小作为代价函数，即远离数据群体的数据很可能是值对残差平方和影响比其他数据大得多。这是因为最小二乘估计为了达到极小化残差平方和的目的，必须迁就远端的数据，所以值对于参数估计相当敏感。 M估计稳健回归的基本思想是采用迭代加权最小二乘估计回归系数，根据回归残差的大小确定各点的权，以达到稳健的目的 为减少“异常点”作用，我们可以对不同的点施加不同的权重，即对残差小的点给予较大的权重，而对残差较大的点给予较小的权重，根据残差大小确定权重，并据此建立加权的最小二乘估计，反复迭代以改进权重系数，直至权重系数之改变小于一定的允许误差 tolerance 。其参数 j可采用迭代加权最小二乘方法求解。 构造权重，许多学者提出了许多方法，因此得到的稳健回归估计大同小异。DPS提供了10种不同的定义权重的公式，供用户选用。在以下公式中，都用到一个“标准化”的残差指标ui，，med 为中位数，s为残差尺度。 Andrew’s 法 ，式中c一般取1.339。 Biweight法 ，式中c一般4.685。 Cauchy法 ，式中c一般2.385。 Fair法 ，式中c一般1.4。 5．Hampel法 这里a,b,c都是参数，0 a b c。一般a 2，b 4，c＝8. Huber法 ，式中ch一般取1.345。 Logistic法 ，式中c一般1.205。 Median法 。 Talworth法 ，式中ch一般取2.795。 Welsch法 ，式中c一般取2.985。 DPS提供了Andrews，Biweight，Cauchy，Fair，Hampel，Huber，Logistic，Median，Talworth和Welsch 等10种权重定义方法供用户选用。数据格式和多元线性回归分析相同，即：自变量在左边，最右边一列是因变量 下图的左边 。用鼠标选中数据后，执行菜单下的“多元分析”→“回归分析”→“稳健回归 M估计 ”功能，即可出现如下图所示的工作界面 下图的右边 。点击“返回”按钮即将当前方法的结果返回到电子工作表中。