2025年大数据行业数据部分析师数据清洗处理手册.docx

2025年大数据行业数据部分析师数据清洗处理手册

第1章数据治理规范与标准体系

1.1数据质量分级分类标准

数据质量等级基于“准确性、完整性、一致性、及时性”四个核心维度进行量化评估，其中准确性占比40%，完整性30%，一致性20%，及时性10%。例如，当某字段缺失率低于2%且数值偏差小于0.01时，标记为“优秀”（S级）；若缺失率超过5%或数值偏差大于0.1，则降级为“不良”（C级）。建立“基础数据”与“业务数据”的双重分级机制，基础数据（如身份证号、统一社会信用代码）强制要求100%符合国家标准，任何偏差直接触发报警；业务数据（如销售额、用户行