互联网行业数据部专员数据清洗工作手册.docxVIP

互联网行业数据部专员数据清洗工作手册

第1章数据质量全景与治理基础

1.1数据质量全景构建与核心指标体系

1.1(数据质量全景构建与核心指标体系)

数据质量全景图是将分散的指标映射为统一维度的可视化框架，它通过“数据源-业务域-质量维度”的三层结构，帮助专员快速定位数据问题。例如，在电商场景中，可以将“订单金额”指标拆解为“准确性”（是否超过10万）、“完整性”（是否包含所有省份字段）和“及时性”（是否晚于T+1小时），从而在一张图中同时监控交易金额、用户注册数、库存周转率等多类核心指标的健康状况。核心指标体系需建立“事实层”与“模型层”的映射机制，确保底层脏数据能被上层业务模型正确识别。以“用户活跃率”为例，事实层需包含“登录时间”、“浏览时长”和“购买行为”三个原子字段；模型层则需将这些字段组合成“日活人数”、“人均停留时长”和“转化率”等衍生指标，专员在清洗时只需关注原子字段的完整性，即可自动满足模型层的质量要求。

数据质量全景应包含“健康度评分”与“风险预警”双通道机制，用于实时反映数据状态。当某字段缺失率超过5%或某指标波动幅度超过30%时，系统自动触发红色预警。例如，若某月“商品库存”字段缺失率突增至15%，系统应立即向数据部专员发送通知，提示其检查入库流程是否出现断层，并整改建议单。“数据血缘”是全景图的生命线，它揭示了数据从源头到