大数据时代的数据质量保障.pdf

大数据时代的数据质量保大数据时代的数据质量保障障 --数据质量中心的设计与实现数据质量中心的设计与实现 yuwen.xm@t@ 阿里巴巴‐CDO数据平台事业部雨玟 主要内容主要内容 大数据时代的质量难题大数据时代的质量难题 数据质量中心架构设计 数据质量中心的实践 阿里的数据中中心CDO 大数据时代的质量难题 质量难题质量难题 在数据处理流程中在那一部分数据出问题，不知道？ 数据校验方法多样性难，平均值？方差？周期性？固定值？ 字字段汇总值值 字段最大值 字字段的唯唯一值个个数 字段最小值 字字段平均值平均值 表记录数据波动，与上期同比波动或与固定数据一致性比 较是否正常较是否正常？？ 字段重复值个数 带业务过滤条件的数据波动，精确监控难 质量保证历程质量保证历程 数据质量中心架构设计 产品介绍产品介绍 数据质量中心‐‐Data Quality Center （DQC） 整体设计整体设计—核心内容核心内容 数据监控 数据清洗 数据度量 数据度量 交互产品交互产品 离线计 算平台 数据 元数 通道 据 DQC 云调云调 告警 度 整体设计—架构示图 GATEWAYS… 离线处理 数据质量WEB服务 数据传输通道/离 DQC EXECUTOR DQC 规则/模板配置 DQC项目级管理 线处理线处理 平台平台 调度系统 DQC HOOK DQC 报告展现 任务及质量展现 数据质量服务 DQC 任务 POOL