ODS数据质量检查脚本开发.docVIP

ODS数据质量检查脚本开发 目的 ODS层数据加载期间，限于源系统数据质量，会对数据进行一定程度的清洗。 在洗洗过程中未知问题可能会造成数据的失真，导致后期数据加工会出错，所以需要实现ODS层数据加载后，ODS层对数据质量的进行一次检核。 二、数据现状 数据按照ODS层表命名规则，存放在相应的表里。 三、实现 基于计划中前置条件 2、3、4、5、6、7 产生的查数SQL脚本(即检核规则)，编制相应的SHELL脚本，来判断数据加工结果准确与否，并将核对结果入ODS监控系统表。 相关表结构设计如下： ods_quality_check_list 字段名 字段英文名 字段类型 是否主键 NULL 备注 分行号 proc_no char(2) 1 0 会计日期 record_dt char(8) 1 0 检查项编号 check_id char (4) 1 0 检查项 check_name char (255) 0 0 检查结果 check_result char(1) 0 0 1是， 0否 检查时间 check_time Char(20) 1 0 ods_quality_check_help 字段名 字段英文名 字段类型 是否主键 NULL 备注 检查项编号 check_id Char(4) 1 0 检查项 check_name Char(255) 0 0 帮助 check_help C