数据清洗SOP：缺失值、重复值、异常值处理流程.docx

数据清洗SOP：缺失值、重复值、异常值处理流程

拿到一份业务系统导出的数据，打开第一眼看到的是几列空值、几条看起来一模一样的记录、几个明显离谱的金额。如果直接动手删空值、去重、改异常，做到一半会发现：删掉的空值里有一半是“业务未发生”，合并的重复记录其实是同一订单的状态更新，改掉的异常值是真实的促销大单。返工的时间往往比清洗本身更长。这份SOP按“定口径→盘点→处理缺失→处理重复→处理异常→验证→固化”七个环节推进，每个环节写清手里需要备什么、做什么动作、做完的标志是什么，以及中途遇到“空值含义不明”“重复记录分不清版本”“异常值判断不了真假”三类岔路时的处理动作。按顺序走完七个环节，输出一份