- 1
- 0
- 约5.35千字
- 约 14页
- 2026-11-19 发布于北京
- 举报
从规则到工单:大数据数据质量治理闭环
一、引言
很多团队第一次做数据质量治理时,会先接入表行数波动、字段空值率、主键重复率、枚举值异常等规则。短期看,这些规则确实能发现问题,但运行一段时间后,平台里经常堆满告警:有些没人认领,有些被反复忽略,有些修完几天后又复发。
质量治理失败的根源通常不是规则太少,而是规则没有进入生产链路。成熟的数据质量体系本质上是“规则化”和“运行化”的治理机制,而不是人工抽查。一个可运营的数据质量系统至少要回答五个问题:
问题
工程化答案
查什么
质量维度和规则模型
何时查
调度前、调度中、调度后、消费前
出问题怎么办
阻断、降级、告警、工单
谁负责修
表负责人、链路负责人、业务Owner
如何防复发
根因归类、规则调整、SLA修订、复盘沉淀
二、质量维度
数据质量维度是规则设计的分类框架,包括准确性、完整性、一致性、及时性、唯一性等维度。在大数据场景中,可以把常用维度落成如下工程规则:
质量维度
关注问题
典型规则
常见指标
完整性
数据有没有缺
分区是否存在、行数是否为0、关键字段非空
空值率、缺分区次数、缺字段次数
唯一性
数据有没有重复
主键唯一、联合键唯一、明细去重
重复率、重复行数、唯一值占比
及时性
数据是否按时到达
T+1表是否在SLA前产出、最新时间戳是否足够新
延迟分钟数、SLA达成率
准确性
数据是否接近真实业务
金额非负
您可能关注的文档
- 实战:设计一个AI数据分析助手.docx
- 彩绘PPT背景教学课件.pptx
- 2026重庆市永川区南大街街道办事处招聘公益性岗位人员1名冲刺试卷及一套参考答案详解.docx
- 2026重庆市永川区南大街街道办事处招聘公益性岗位人员1名冲刺试卷参考答案详解.docx
- 2026年四年级上册科学冲刺押题试卷(成都名校版).docx
- 2026重庆市某中学校食堂专职食品安全员招聘1人笔试题库完整答案详解.docx
- 2026重庆市某中学校食堂专职食品安全员招聘1人笔试题库带答案详解.docx
- 2026重庆市某中学校食堂专职食品安全员招聘1人笔试题库及答案详解一套.docx
- 2026重庆市某中学校食堂专职食品安全员招聘1人笔试题库完整参考答案详解.docx
- 2026重庆市某中学校食堂专职食品安全员招聘1人笔试题库及答案详解1套.docx
- 2026重庆市永川区南大街街道办事处招聘公益性岗位人员1名冲刺试卷及1套参考答案详解.docx
- 2026年五年级英语上册方位介词inonunder语法专项测试试卷.docx
- 2026重庆市某中学校食堂专职食品安全员招聘1人笔试题库附答案详解.docx
- 2026重庆市某中学校食堂专职食品安全员招聘1人笔试题库及答案详解参考.docx
- 2026重庆市某中学校食堂专职食品安全员招聘1人笔试题库含答案详解.docx
- 2026重庆市某中学校食堂专职食品安全员招聘1人笔试题库及一套答案详解.docx
- 2026重庆市某中学校食堂专职食品安全员招聘1人笔试题库及参考答案详解1套.docx
- 2026重庆市某中学校食堂专职食品安全员招聘1人笔试题库及参考答案详解.docx
- 2026年四年级语文上册期末真题冲刺结业卷.docx
- 2025山东金曰交通发展集团有限公司招聘10人笔试历年参考题库附带答案详解.docx
原创力文档

文档评论(0)