从规则到工单:大数据数据质量治理闭环.docxVIP

  • 1
  • 0
  • 约5.35千字
  • 约 14页
  • 2026-11-19 发布于北京
  • 举报

从规则到工单:大数据数据质量治理闭环.docx

从规则到工单:大数据数据质量治理闭环

一、引言

很多团队第一次做数据质量治理时,会先接入表行数波动、字段空值率、主键重复率、枚举值异常等规则。短期看,这些规则确实能发现问题,但运行一段时间后,平台里经常堆满告警:有些没人认领,有些被反复忽略,有些修完几天后又复发。

质量治理失败的根源通常不是规则太少,而是规则没有进入生产链路。成熟的数据质量体系本质上是“规则化”和“运行化”的治理机制,而不是人工抽查。一个可运营的数据质量系统至少要回答五个问题:

问题

工程化答案

查什么

质量维度和规则模型

何时查

调度前、调度中、调度后、消费前

出问题怎么办

阻断、降级、告警、工单

谁负责修

表负责人、链路负责人、业务Owner

如何防复发

根因归类、规则调整、SLA修订、复盘沉淀

二、质量维度

数据质量维度是规则设计的分类框架,包括准确性、完整性、一致性、及时性、唯一性等维度。在大数据场景中,可以把常用维度落成如下工程规则:

质量维度

关注问题

典型规则

常见指标

完整性

数据有没有缺

分区是否存在、行数是否为0、关键字段非空

空值率、缺分区次数、缺字段次数

唯一性

数据有没有重复

主键唯一、联合键唯一、明细去重

重复率、重复行数、唯一值占比

及时性

数据是否按时到达

T+1表是否在SLA前产出、最新时间戳是否足够新

延迟分钟数、SLA达成率

准确性

数据是否接近真实业务

金额非负

您可能关注的文档

文档评论(0)

1亿VIP精品文档

相关文档