培训数据质量管控流程.pptx

数据质量小组职责概述概述 为了保证数据仓库的数据正确性和完整性，确保数据在抽取、传输、整合、加载、分析等各个环节不失真及准确表达，并为逐步修正和改善各业务系统中的数据质量、加强业务操作规范化管理等提供依据，数据质量检查和监控是数据仓库建设中必不可少的重要组成部分。缺乏数据质量检查将造成用户对数据不认可、对数据缺少信任、增加构建数据仓库的难度、延误进度及加大成本等后果。 在数据仓库建设过程中，数据质量检查需要从源数据分析开始，自始至终全程贯彻落实，并要求得到数据仓库的全体开发人员、管理人员及相关业务人员的积极参与，使各方对数据质量有一个合理的预期和客观的评价，提高数据仓库的使用率和可信度，更好地为决策分析提供服务。 为增强用户对数据仓库数据质量的信心，使得数据仓库能得到广泛应用，数据质量小组必须有效实施数据质量监控，尽早暴露数据质量问题。目前数据质量组主要工作内容★ 问题平台问题处理解决（门户、分公司、挖掘等…）☆ BSS数据质量问题追踪● 日常问题及疑问解答（门户、运维、分公司…）● 脚本开发（指标级、营销工号/营销部门、OOCP分摊、批价完整性 ）● 其他（汇报材料、工作周报、外文翻译等）MANTIS平台问题流程问题提出问题复查前端应用问题采集未解决挖掘分公司问题分析运维问题分派问题类型分析外组问题数据质量模型映射问题处理问题处理组细分其他…组内问题不是问题数据质量问题源系统交互模式数据质量问题汇总表维护来源任务分派分类提交问题数据质量检查人员CRM数据负责人复查结果数据质量检查负责人反馈处理结果IBS数据负责人结果复查从以上流程图可以看出，目前数据质量小组受理的大部分数据质量问题都需要提交BSS项目负责人去解决。这就需要BSS负责人能积极的配合数据仓库项目组成员。No.28周数据质量问题（BSS相关）序号问题描述当前负责人提出时间重要程度有何建议 计划解决时间1（旧）同一资产集成编号对应多个资产问题寿煊9.5高第四次数据重发，程序修复完毕，补丁扫尾中11.122（旧）群组优惠表丢失数据卢望9.5高运维组补丁处理中11.153（旧）发展渠道为空寿煊9.5高已确认补丁方案，协助BSS提取补丁数据--4（旧）97竣工时间为空刘志峰9.5高运维组补丁处理中11.125（旧）资产净增数与订单装拆量严重不吻合的问题 徐严铭9.21高样例数据提供给crm,等待处理11.156（旧）IBS存在有部分BA没有上级CA边巍9.28高按照CRM补上CA信息，已提交E2E处理--7 （旧）温州9月帐单数据差异大边巍10.16高由“IBS存在有部分BA没有上级CA”问题引起--8（旧）有部分计费实例有帐单，但是customer_id_equip_map中没有寿煊 / 边巍10.16中IBS确认没问题，数据仓库需和CRM进行数据核实11.2010（新）e6/e8套餐业务逻辑不符寿煊10.31中业务不规范，不可控，无法处理--数据流典型流程AS多维数据库多维数据多维数据多维数据多维数据数据备份生成数据源生成生成生成数据备份数据更新数据更新数据检查数据更新数据更新和生成和生成和生成和生成数据区确认、映射 清洗和转换清洗和转换清洗和转换清洗和转换转换转换接受加载接受加载接收转换加载临时数据区临时数据区接收转换加载源数据源数据ETLETL控制数据控制数据ETL ETL AutomaitonAutomaiton调度和控制调度和控制TeradataTeradata数据库数据库数据传输中的数据质量检测流程文件名日期记录数文件个数接口规范接口\ETL服务器文件级检查文件级检查记录级检查ETL过程临时区DW服务器外键检查时间戳检查业务规则检查 ……数据仓库数据传输中的数据质量检测流程从源系统抽取数据文件，生成文件放置到记载服务器把数据从文件加载到STAGE区ETL脚本继续执行，将BSSWORK临时表数据加载到PDMETL转换脚本把STAGE区经转换后加载到BSSWORK临时表对BSSWORK临时表数据执行文件级检查执行记录级检查，并将错误信息放到检查结果表中否检查通过？ETL转换脚本中止执行，并报错执行时间戳检查，并将错误信息放到检查结果表中在PORTAL上展现检查结果，供相关人员分析ETL维护流程-维护任务对日常ETL加载进行监控,对于出现的问题及时进行处理,以确保每日加载和对应的备份任务顺利完成;当源数据出现变动时进行相关的LDM,SDM,加载策略,加载脚本的改造,并完成维护日志的更新;当有新业务数据源需要上线时,进行SDA,LDM,SDM的工作,完成ETL开发测试,并进行及时上线工作;当有前端新需求时,完成ETL对前端新需求开发的配合工作;ETL维护流程-源数据变动维护源数据变动时,根据源数据的变动相应调整LDM(逻辑数据模型),SDM(源目的映射),根据LDM