缺失值填充的不同方法对统计结果的影响对比.docxVIP

缺失值填充的不同方法对统计结果的影响对比

一、缺失值问题的研究背景与基础认知

（一）缺失值的定义与常见成因

缺失值指数据集中某一个或多个变量的观测值不完整的情况，是真实数据分析中几乎不可避免的问题。从社会科学的问卷调查到自然科学的实验观测，从医疗健康的病例记录到工业生产的传感器数据，各类数据集都可能出现不同程度的缺失。缺失值的产生原因可大致分为三类：一是人为操作因素，比如数据录入时的漏输、错输，问卷调查中受访者无意漏答某一题目，或者研究人员整理数据时的操作失误；二是研究设计因素，比如问卷设置的跳题逻辑，符合特定条件的受访者不需要回答部分题目，这部分缺失属于设计性缺失，是可预期的；三是客观不可控因素，比如医学随访研究中患者因搬迁失联无法继续参与调查，工业传感器因临时断电导致某段时间的数据未被记录，或者社会调查中受访者因隐私顾虑拒绝回答敏感问题（金勇进，2010）。缺失值的存在不仅会降低数据的利用效率，还可能导致统计结果出现偏差，甚至得出完全错误的结论，因此选择合适的处理方法是统计分析中至关重要的环节。

（二）缺失值的机制分类

缺失值对统计结果的影响程度，以及不同填充方法的适用性，本质上都和缺失的产生机制密切相关。根据缺失概率与观测值、未观测值的关系，学术界普遍将缺失机制分为三类，这一分类框架提出后，成为缺失值研究的基础理论依据（利特尔，鲁宾，2014）。第一类是完全随机缺失，指某一变