大数据时代数据质量保障.docxVIP

大数据时代的数据质量保障 -- 数据质量中心的设计与实现 yuwen.xm@ 阿里巴巴-CDO数据平台事业部 雨玟 主要内容 大数据时代的质量难题 数据质量中心架构设计 数据质量中心的实践 阿里的数据中心CDO 大数据时代的质量难题 质量难题 在数据处理流程中在那一部分数据出问题，不知道？ 不同系统间数据流通，是否有损失？ 表记录数据波动，与上期同比波动或与固定数据一致性比较是否正常？ 字段平均值 字段最大值 字段最小值 字段汇总值 字段空值个数 字段重复值个数 离散值 带业务过滤条件的数据波动，精确监控难 数据校验方法多样性难，平均值？方差？周期性？固定值？ 字段的唯一值个数 质量保证历程 数据质量中心架构设计 数据质量中心--Data Quality Center（DQC） 产品介绍 整体设计—核心内容 数据监控 数据清洗 数据度量 交互产品 GATEWAYS… 数据传输通道/离线处理 平台 DQC HOOK DQC EXECUTOR 数据质量WEB服务 DQC 规则/模板配置 DQC项目级管理 DQC 报告展现 任务及质量展现 离线处理 调度系统 整体设计—架构示图 整体设计—报警分级 整体设计—规则分级 …… 整体设计—阻塞逻辑 Red block 下游任务阻塞 Hive HDFS 其他离线处理平台 多种数据传输通道