- 1、本文档共15页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
数据质量管控
数据质量管理平台技术架构数据质量管理平台以元信息模型为核心,由规则配置管理模块、检查执行模块、分析报告生成模块和分析报告展现模块四部分构成。整个数据质量检查过程以ETL任务的形式统一调度执行。数据质量检查规则执行模块作为多个ETL任务部署在金融数据平台ETL服务器上,由Automation工作流调度服务统一调度运行,实现各个数据区技术和业务数据质量检查数据质量检查规则配置模块作为Java Web应用部署在金融数据平台Tomcat集群上,数据质量管理员通过统一的Web服务访问,实现检查规则的维护数据质量管理系统元模型包含检查规则、检查执行结果、分析报告,模型作为一个独立的Schema部署在决策分析报表平台的数据库数据质量分析报告展现模块作为Java Web应用部署在金融数据平台Tomcat集群上,用户通过统一的Web服务访问,实现日报、月报的浏览、下载等功能数据质量分析报告生成模块作为一个ETL任务部署在决策分析报表平台ETL服务器上,由Automation工作流调度服务统一调度运行,按照每日、每月生成各数据区数据质量检查报告数据质量检查执行服务数据质量管理的规则执行服务作为ETL任务部署在ETL服务器上在整个数据处理过程中,设置4类检查点在不同的检查点由Task Automation工作流统一调度执行检查结果统一存入数据质量管理资料库1234检查规则执行服务检查点1云数据推送平台接口文件级规范性检查任务说明任务类型ETL 任务 —— 技术型检查ETL阶段云数据推送平台-金融数据交换平台NAS存储指定目录执行频率每日执行执行方式由Task Automation工作流引擎根据工作流定义统一调度,在ETL 服务器上执行检查对象云数据推送平台按照接口规范导出的业务系统每日增量数据文件和控制文件检查内容接口文件是否存在,接口文件名称是否正确,接口文件是否通过MD5校验实现技术Linux脚本语言,Perl或Python成功阈值所有规则通过检查依赖任务N/A触发任务数据加载检查规则执行服务检查点2临时区数据技术性检查任务说明任务类型ETL 任务 —— 技术型检查ETL阶段临时数据区-贴源整合数据区执行频率每日执行执行方式由Task Automation工作流引擎根据工作流定义统一调度,在Hadoop集群上执行检查对象云数据推送平台按照接口规范导出的业务系统每日增量数据检查内容日期、时间格式检查;主键唯一型检查;外键参照完整型检查;关键字段取值完整性检查实现技术Hive SQL成功阈值90%记录通过检查异常处理未通过检查的记录存入指定错误明细表依赖任务接口文件级规范性检查任务触发任务贴源数据整合任务检查规则执行服务检查点3汇总区业务性检查任务内容说明任务类型ETL 任务 —— 业务型检查ETL阶段贴源整合数据区-汇总数据区执行频率每日/月/季执行执行方式由Task Automation工作流引擎根据工作流定义统一调度,在Hadoop集群上执行检查对象汇总数据区的数据检查内容业务逻辑检查:通过对若干个汇总值/指标值的运算,来检验各个汇总值/指标间潜在的平衡或其他比较关系实现技术Hive SQL成功阈值90%记录通过检查异常处理未通过检查的记录存入指定错误明细表依赖任务贴源整合数据区数据处理完成触发任务集市数据区应用数据生成检查规则执行服务检查点4.1应用集市区技术性检查任务内容说明任务类型ETL 任务 —— 业务型检查ETL阶段汇总数据区-应用集市数据区执行频率每日/月/季执行执行方式由Task Automation工作流引擎根据工作流定义统一调度,在应用集市数据库集群上执行检查对象应用集市数据区的数据检查内容主键唯一型检查;外键参照完整型检查;关键字段取值完整性检查实现技术SQL成功阈值90%记录通过检查异常处理未通过检查的记录存入指定错误明细表依赖任务汇总数据区数据处理完成触发任务N/A检查规则执行服务检查点4.2应用集市区业务性检查任务内容说明任务类型ETL 任务 —— 业务型检查ETL阶段汇总数据区-应用集市数据区执行频率每日/月/季执行执行方式由Task Automation工作流引擎根据工作流定义统一调度,在应用集市数据库集群上执行检查对象应用集市数据区的数据检查内容业务逻辑检查:通过对若干个指标值的运算,来检验各个指标间潜在的平衡或其他比较关系数值检查:主要是通过对单个指标值的监控来发现数据的异常、突变等情况波动检查:通过对单个指标值一段时间内的数值变化情况来检查数据的波动、变化情况一致性检查:通过对两个指标按某几个维度展开后的增减幅度来发现数据的波动、变化情况实现技术SQL成功阈值90%记录通过检查异常处理未通过检查的记录存入指定错误明细表依赖任务汇总数据区数据处理完成触发任务N/A数据质量管理分析报告生成服务分析报告生成服务是
您可能关注的文档
最近下载
- 动物防疫与检疫技术模拟题库.doc VIP
- 数控技术专业人才培养方案汇报.ppt VIP
- 中考作文主题模板:道德与品质类.docx VIP
- 2022光伏发电工程工程量清单计价规范.docx
- 道德与法治二年级上册第一单元 我们的节假日 大单元整体学历案教案 教学设计附作业设计(基于新课标教学评一致性).docx
- 2023年-2024年动物防疫员(中级)考试题库(含答案).doc VIP
- 03S702-钢筋混凝土化粪池.pdf
- 南海区小学数学强基计划模拟测试.docx VIP
- 提高PICC导相关性血栓预防措施落实率PDCA案例品管圈QCC成果汇报.ppt
- 报废机动车再生资源回收利用产业园项目商业计划书.docx
文档评论(0)