异常值检测3σ原则与四分位法优劣对比.docxVIP

异常值检测3σ原则与四分位法优劣对比

一、引言

在数据分析、质量管控、科学实验、风险识别等几乎所有涉及数据处理的领域，异常值识别都是决定后续分析结论可靠性的核心环节。异常值指的是样本中明显偏离整体数据分布规律的观测值，其产生原因既可能是数据录入错误、测量设备故障、外部干扰等偶发误差，也可能是代表特殊规律的稀有事件。如果不能准确识别异常值，要么会因为混入的错误数据导致模型参数估计偏差、分析结论失真，要么会因为漏判真正的风险事件造成严重的实际损失。有统计研究显示，数据预处理阶段的异常值识别偏差，可能导致后续模型参数估计偏离真实水平最高可达三成以上（吴喜之，2020）。在众多异常值检测方法中，3σ原