软件开发行业测试部测试工程师测试数据清洗手册（执行版）.docxVIP

软件开发行业测试部测试工程师测试数据清洗手册（执行版）

第1章数据基础与处理规范

1.1数据清洗原则与目标

数据清洗的首要原则是“准确性优先”，即所有清洗操作必须建立在确凿的事实依据之上，严禁为了追求报表美观而牺牲数据真实性，确保数据源（SourceData）的原始记录未被篡改。清洗目标是将非结构化或半结构化的原始数据转化为符合业务逻辑的标准化格式，重点解决缺失值、异常值、重复值及格式不一致等核心问题，为上层应用提供高质量的数据支撑。

遵循“最小侵入性”原则，清洗过程需严格限定在数据提取（ETL）的读取阶段，严禁在数据入库或存储过程中直接修改原始记录，确保数据血缘可追溯。