2025年互联网行业数据部分析师数据清洗工作手册.docx

2025年互联网行业数据部分析师数据清洗工作手册

第1章

1.1(数据质量红线与清洗原则)

数据质量红线是指任何违反数据完整性、准确性、时效性及一致性原则的绝对禁止项，一旦触碰将立即触发数据阻断机制，严禁在清洗流程中对此类数据进行任何形式的二次加工或尝试修复。清洗原则强调“先治理后清洗”，即在数据进入清洗引擎前，必须先通过元数据校验和格式规则预检，只有符合基础标准的数据才能进入深度清洗阶段，确保清洗工作的可追溯性。

在数据一致性方面，必须严格遵循“主数据唯一性”原则，对于同一业务实体（如客户ID、产品SKU）在多个系统中出现时，必须依据最高权限源数据进行归一化处理，严禁保留冲突