数据处理与分析手册（执行版）.docxVIP

数据处理与分析手册（执行版）

第1章数据处理基础规范与标准

1.1数据质量分级与定义

数据质量等级通常分为四个维度：完整性（完整性指数据字段缺失或错误的比例）、准确性（数据值与事实的吻合度）、一致性（跨系统或跨时间维度的逻辑一致）以及及时性（数据更新与业务需求的时间差）。例如，在电商系统中，订单金额若超过100万且无审批记录，其完整性等级定为“低”，因为缺失了关键的业务审批字段，但准确性可能很高。定义中必须明确“脏数据”是指不符合业务规则、格式错误或逻辑矛盾的原始数据，而“脏数据”在清洗前可能包含大量冗余信息，需先进行去重处理。例如，一个用户ID为10086的记录，若同时存10086002两条记录，其中一条因重复录入产生，该条记录的完整性等级应被标记为“中”，因为存在重复数据但无逻辑矛盾。

数据质量分级还需考虑数据的时效性，如财务报表数据若延迟超过30分钟，其及时性等级即为“高”，因为延迟可能影响决策；而日志数据若延迟超过1小时，其及时性等级则为“低”，因为延迟对实时分析影响较小。例如，库存预警数据若延迟超过5分钟，其及时性等级应定为“高”，因为可能导致缺货损失。在评估数据质量时，需结合业务场景设定阈值，如销售额字段若缺失率超过5%或大于100万，其完整性等级即为“低”，因为可能影响销售分析；若该字段缺失率小于1%