鲁棒回归处理异常值.pdf

鲁鲁棒棒回回归归的的原原理理、、方方法法与与应应用用：：应应对对异异常常值值的的统统计计学学策策略略

在数据分析中，异常值（Outliers的存在常常对传统回归模型（如最小二乘法的准确性造成严重干扰。异常值可能源于测

量误差、数据录入错误或真实的极端事件，但其对模型参数估计的影响不可忽视。鲁棒回归（RobustRegression通过改进

损失函数、迭代算法或数据筛选机制，有效降低异常值的负面影响。本文将从异常值的危害、鲁棒回归的核心思想、主流方法

及其数学原理、应用场景与实施建议等方面展开详细探讨。

一一、、异异常常值值对对传传统统回回归归的的破破坏坏机机制制

传统线性回归的核心目标是最小化残差平方和（RSS,ResidualSumofSquares，即：

$$\min_{\beta}\sum_{i=1}^{n}(y_i_i\beta)^2$$

这种基于平方损失的优化对异常值高度敏感。例如，若某个样本的残差为10，其平方贡献为100；而残差为3的样本贡献仅为

9。异常值的残差通常远大于正常样本，导致模型参数严重偏离真实值。

具体影响表现：

1.参数偏移：异常值通过拉高或压低回归线，使得斜率与截距的估计值失真。

2.方差膨胀：异常值导致参数估计的标准误增大，假设检验的可靠性降低。

3.模型解释失效：当异常值集中在自变量或因变量时，模型可能完全无法捕捉真实的数据关系。

二二、、鲁鲁棒棒回回归归的的核核心心思思想想

鲁棒回归的核心在于通过调整损失函数或数据使用策略，降低异常值的权重。其设计原则包括：

1.抗异常值影响性：对残差较大的样本赋予较低权重，避免其主导优化过程。

2.统计效率与鲁棒性的平衡：在保证模型对正常数据拟合能力的同时，尽可能排除异常干扰。

3.计算可行性：算法需在有限计算资源下实现稳定收敛。

三三、、主主流流鲁鲁棒棒回回归归方方法法及及其其原原理理

1.M估估计计（（M-Estimation

M估计通过引入鲁棒损失函数替代平方损失，其优化目标为：

$$\min_{\beta}\sum_{i=1}^{n}\rho(r_i)$$

其中$r_i=y_i_i\beta$，$\rho(\cdot)$是对称且非递减的函数。常用损失函数包括：

Huber损失：在较小残差时使用平方损失，较大残差时转为线性损失，平衡效率与鲁棒性。

$$\rho(r)=\begin{cases}\frac{1}{2}r^2\text{if}|r|\leqc\c|r|\frac{1}{2}c^2\text{otherwise}\end{cases}$$

Tukey双权重（Bisquare：对大残差施加渐进于零的权重，彻底抑制极端值影响。

$$\rho(r)=\begin{cases}\frac{c^2}{6}\left[1\left(1(\frac{r}{c})^2\right)^3\right]\text{if}|r|\leqc\\frac{c^2}{6}

\text{otherwise}\end{cases}$$

求解方法：通常通过迭代加权最小二乘法（IRLS实现。每次迭代中，根据当前残差计算权重，再重新拟合加权回归模型。

2.RANSAC（（随随机机抽抽样样一一致致算算法法

RANSAC是一种基于数据子集采样的鲁棒方法，其步骤为：

1.随机采样：从数据中随机抽取一个子集（假设无异常值，拟合临时模型。

2.一致性评估：计算所有样本在该模型下的残差，统计符合阈值条件的“内点”。

3.迭代优化：重复上述过程，保留内点最多的模型作为最终结果。

优势：对高比例异常值（如50%以上具有极强的抵抗能力。

局限：计算复杂度高，需预设内点判定阈值。

3.Theil-Sen估估计计器器

Theil-Sen是一种非参数方法，通过计算所有可能数据子集的斜率中位数来估计参数。对于简单线性回归，其斜率估计为：

$$\hat{\beta}_1=\text{median}\left(\frac{y_jy_i}{x_jx_i}\right)\quad\forallij$$

优点：对异常值不敏感，且在正态分布数据中效率接近最小二乘法。

缺点：计算复杂度随样本量呈组合数增长，需采用近似算法加速。

4.分分位位数数回回归归（（QuantileRegression

分位数回归通过最小化