《数据预处理》课件——基于模型残差的异常值检测.pptxVIP

基于模型残差的异常值检测

模型残差的计算与分析

基于残差的异常值检测方法

目录

CONTENTS

01

模型残差的计算与分析

残差是实际观察值与模型预测值之间的差异，衡量模型拟合程度的关键指标。

残差定义

对于回归模型，残差=真实值-预测值，通过分析残差可以识别异常值，提高模型准确性。

残差计算

较大残差表明数据点与模型预测不一致，可能为异常值或影响模型性能，需进一步调查。

残差应用

残差的定义与计算

01

02

03

残差分析

残差远离零的情况可能表明数据点与其他点的关系非常不同，或者存在输入错误、数据问题或模型不适应的情况。

残差分布

在正常情况下，残差应围绕零均匀分布，类似正态分布，这表明模型对数据的拟合良好。

识别异常值

通过设置阈值（如3倍标准差）来识别异常残差点，远离零的残差可能表明数据点与其他点的关系非常不同。

残差的分布与异常值识别

残差图介绍

残差图是检查模型拟合情况的图形工具，通过将残差绘制为自变量或预测值的函数，可以直观地观察模型的拟合情况以及异常值的分布。

残差图的使用

随机分布

在回归模型中，如果残差图中的点呈现随机分布，这说明模型拟合得比较好，没有明显的规律或模式，这表明模型对数据点的捕捉较为准确。

模式识别

若出现明显的模式（如U型分布），则可能表示模型存在偏差或未捕捉到某些关键特征，在这种情况下，残差图能够有效帮助检测出不符合预期的数据点。

02