互联网行业数据部数据分析师数据清洗规范手册.docx

互联网行业数据部数据分析师数据清洗规范手册

第1章数据治理基础与标准

1.1数据质量评估体系构建

数据质量评估体系是衡量数据资产可用性的核心标尺，其构建遵循“全量覆盖、多维度量、动态预警”的原则，旨在通过量化指标识别数据瑕疵。需建立包含准确性、完整性、一致性、时效性和唯一性在内的五维质量模型，其中准确性指数据与事实的吻合度，完整性指关键字段无缺失，一致性指跨系统数据逻辑统一，时效性指数据更新频率符合业务需求，唯一性指同一实体的数据不重复。在指标定义上，应结合互联网行业特性设定具体阈值，例如将“延迟率”定义为数据从采集到入库的平均耗时超过5秒即视为异常，将“空值率”定义为某字