软件开发行业数据组工程师数据清洗规范.docxVIP

软件开发行业数据组工程师数据清洗规范

第1章数据治理基础与标准定义

1.1数据质量等级评估与分级策略

数据质量等级评估是依据ISO/IEC25010标准，对数据在准确性、完整性、一致性、及时性等维度进行量化打分的过程。对于数据清洗团队而言，必须首先识别出“致命缺陷”（如数值计算错误、逻辑冲突）与“轻微缺陷”（如格式不规范、冗余字段），并据此将数据划分为“核心级”、“重要级”和“一般级”三个等级，以确保清洗优先级符合业务价值。在实施分级策略时，需结合数据对决策的影响程度设定阈值。例如，用户画像数据若因缺失或错误导致营销转化率下降超过15%，则判定为“核心级”；若仅影响报表统计