数据质量管控技术总结.pptxVIP

数据质量管理平台技术架构 数据质量管理平台以元信息模型为核心，由规则配置管理模块、检查执行模块、分析报告生成模块和分析报告展现模块四部分构成。 整个数据质量检查过程以ETL任务的形式统一调度执行。 数据质量检查执行服务 数据质量管理的规则执行服务作为ETL任务部署在ETL服务器上 在整个数据处理过程中，设置4类检查点 在不同的检查点由Task Automation工作流统一调度执行 检查结果统一存入数据质量管理资料库 1 2 3 4 检查规则执行服务检查点1 云数据推送平台接口文件级规范性检查任务说明 任务类型 ETL 任务 —— 技术型检查 ETL阶段 云数据推送平台-金融数据交换平台NAS存储指定目录 执行频率 每日执行 执行方式 由Task Automation工作流引擎根据工作流定义统一调度，在ETL 服务器上执行 检查对象 云数据推送平台按照接口规范导出的业务系统每日增量数据文件和控制文件 检查内容 接口文件是否存在，接口文件名称是否正确，接口文件是否通过MD5校验 实现技术 Linux脚本语言，Perl或Python 成功阈值 所有规则通过检查 依赖任务 N/A 触发任务 数据加载 检查规则执行服务检查点2 临时区数据技术性检查任务说明 任务类型 ETL 任务 —— 技术型检查 ETL阶段 临时数据区-贴源整合数据区 执行频率 每日执行 执行方式 由Task Automation工作流引擎根据工作流定义统一调度，在Hadoop集群上执行 检查对象 云数据推送平台按照接口规范导出的业务系统每日增量数据 检查内容 日期、时间格式检查；主键唯一型检查；外键参照完整型检查；关键字段取值完整性检查 实现技术 Hive SQL 成功阈值 90%记录通过检查 异常处理 未通过检查的记录存入指定错误明细表 依赖任务 接口文件级规范性检查任务 触发任务 贴源数据整合任务 检查规则执行服务检查点3 汇总区业务性检查任务内容说明 任务类型 ETL 任务 —— 业务型检查 ETL阶段 贴源整合数据区-汇总数据区 执行频率 每日/月/季执行 执行方式 由Task Automation工作流引擎根据工作流定义统一调度，在Hadoop集群上执行 检查对象 汇总数据区的数据 检查内容 业务逻辑检查：通过对若干个汇总值/指标值的运算，来检验各个汇总值/指标间潜在的平衡或其他比较关系 实现技术 Hive SQL 成功阈值 90%记录通过检查 异常处理 未通过检查的记录存入指定错误明细表 依赖任务 贴源整合数据区数据处理完成 触发任务 集市数据区应用数据生成 检查规则执行服务检查点4.1 应用集市区技术性检查任务内容说明 任务类型 ETL 任务 —— 业务型检查 ETL阶段 汇总数据区-应用集市数据区 执行频率 每日/月/季执行 执行方式 由Task Automation工作流引擎根据工作流定义统一调度，在应用集市数据库集群上执行 检查对象 应用集市数据区的数据 检查内容 主键唯一型检查；外键参照完整型检查；关键字段取值完整性检查 实现技术 SQL 成功阈值 90%记录通过检查 异常处理 未通过检查的记录存入指定错误明细表 依赖任务 汇总数据区数据处理完成 触发任务 N/A 检查规则执行服务检查点4.2 应用集市区业务性检查任务内容说明 任务类型 ETL 任务 —— 业务型检查 ETL阶段 汇总数据区-应用集市数据区 执行频率 每日/月/季执行 执行方式 由Task Automation工作流引擎根据工作流定义统一调度，在应用集市数据库集群上执行 检查对象 应用集市数据区的数据 检查内容 业务逻辑检查：通过对若干个指标值的运算，来检验各个指标间潜在的平衡或其他比较关系 数值检查：主要是通过对单个指标值的监控来发现数据的异常、突变等情况 波动检查：通过对单个指标值一段时间内的数值变化情况来检查数据的波动、变化情况 一致性检查：通过对两个指标按某几个维度展开后的增减幅度来发现数据的波动、变化情况 实现技术 SQL 成功阈值 90%记录通过检查 异常处理 未通过检查的记录存入指定错误明细表 依赖任务 汇总数据区数据处理完成 触发任务 N/A 数据质量管理分析报告生成服务 分析报告生成服务是部署在ETL服务器上的ETL任务，按照任务流程被Task Automation统一调度执行，生成以下三类报告： 源系统数据交换质量日报 该报告汇总了报告生成当天源系统的数据接口校验结果，包括针对每个接口单元的表及记录级校验错误的统计数据和指标日平均值 数据质量汇总日报 该报告依照每日各源系统数据交换评价指标的平均值及当天的贴源数据、汇总数据和数据集市质量检查结果汇总生成 数据质量汇总月报 该报告依照当月的日报结果，取各项指标的平均值和数据统计的汇总值生成 数据质量管理分析报