基于数据治理的企业数据质量管理与保障解决方案（25页PPT）.pptxVIP

基于数据治理的企业数据质量管理与保障解决方案2023年

1数据质量问题背景及分类2数据质量体系建设原则3数据质量方案框架及关键技术4数据质量行业实践

1数据质量问题产生的背景2数据质量体系建设原则3数据质量方案框架及关键技术4数据质量行业实践

数据质量问题的产生来源在企业信息化初期，各类业务系统恣意生长，这个阶段就像没有修筑大堤前的黄河，河水虽然漫流，但是河道宽阔，虽然也有数据问题，但不明显。在企业进行数字化转型的背景下，尤其是搭建了数据中台的组织，需要按照统一的结构和标准把各类数据集成起来，就像筑堤束水之后的黄河，泄流不畅、决口不断等问题纷纷出现，数据不一致、不完整、不准确等各种问题铺面而来。

数据质量问题域

数据质量问题域示例很显然，步骤①～⑤任何一步出错都会导致整个结论分析失真。而且，分析者、运营部门和企业管理者可能对质量都有着各自不同的关心和理解。在某种意义上讲，分析者所做出的决策的正确性来源于企业信息源的质量、数据仓库本身的质量、数据集市的质量以及数据仓库各过程的质量。整理制作郎丰利1519

数据质量问题危害低质量的数据对任何组织来说都意味着损耗。带来的隐形成本包括：1、废弃和返工。2、临时措施和矫正流程。3、组织的低效活动或生产力低下。4、组织的冲突。5、工作满意度低。6、客户不满意。7、机会成本，包括创新乏力而丢失的机会成本。8、执行成本和罚金。9、声誉和公关成本。

2数据质量体系建设原则1数据质量问题背景及分类3数据质量方案框架及关键技术4数据质量行业实践

借鉴古人治水的方案归纳总结下古人治理黄河水患，主要有两种套路，一种是“疏通”，上策迁移民众和中策分流黄河水患，都是具体体现；另一种是“围堵”，加高增厚堤防，抑制河水烂漫

方案概述数据质量管理的最佳实践是采用“疏”和“堵”相结合的方式，需要将组织、技术和流程三者进行有机结合，从业务出发做问题定义，由工具自动、及时发现问题，跟踪问题整改进度，并建立相应的质量问题评估KPI。通过采用数据质量问题全过程的管理的“疏”和“堵”结合方式，才能最终实现提升数据质量持续提升的目标

数据质量管理体系的构成为建立全方位的数据质量管理体系，应同时关注组织、技术和流程三大核心部分，三部分相辅相成才能形成完整的数据质量管理体系。

数据质量体系建设五个原则目标提升数据质量问题解决效率，提升企业数据质量全程监控：从数据的定义、录入、存储、加工、交互、使用全过程进行数据质量监控，明确各部门在全过程中的责任，全方位保证数据质量主动管理：强化对企业发现的各IT系统数据质量问题的主动管理，协同相关部门推动问题的有效解决闭环管理：建立数据质量问题的发现、通报、整改和反馈等环节具体流程，形成数据质量问题的闭环管理自动管理：深入分析业务人员发现的数据质量问题的业务规则和成因，科技部门将其转化为技术规则落地到系统中，实现数据质量问题的自动筛选。全员参与：业务人员、技术人员和运维人员要共同参与数据质量提升工作。12345

全程监控—事前、事中、事后三阶段管理事前预防事中监控事后改善数据质量主动保证，侧重面向未来的数据（指业务运营过程中新增的数据），通过业务流程优化、源系统改造和数据标准规范来提升数据质量。未来数据数据质量持续监控与优化，侧重面向当前的数据（当前数据质量检查周期内更新的数据），根据数据质量检核规则，对数据进行持续、周期性监测。当前数据历史数据数据质量清洗提升，侧重面向历史数据(指某个时间点前已经生成的数据)。按业务系统或主题分批对数据质量分析、清洗，提高既有数据的质量。

从发现到改进闭环管理建立数据质量闭环管理机制、明确各部门关于数据质量提升工作的分工职责并强化执行；同时基于数据管理工具，固化流程，线上支撑企业级数据质量管理，确保企业级数据质量稳步提升。

固化流程、全员参与

借助工具、自动管理数据质量管理员技术人员业务人员问题定义问题发现/分析问题跟踪问题处理评估和统计数据质量问题需求提出,选择系统（检核对象业务实体、属性）需求转化检核规则，通过可配置化方式，自动生成检核脚本，批量检核问题数据。输入数据质量问题管理，疑似问题发布数据质量问题整改。采用问题认责方式，保证问题处理及时行。数据质量问题整改效果确认。未及时处理的问题，纳入考核计分数据质量问题评估与分析，图形化展示统计报表。1）检核维度报表2）机构问题统计报表。3）问题整改效果报表。4）问题分布报表。检核目标库输出企业级元数据管理流程自动化sql脚本引擎问题存储库数据质量问题分析。元数据模块提供影响分析，为下游问题预警

提升意识、主动管理数据标准主题域业务领域子分类业务实体数据项定义责任人标准数据服务指标树指标分类指标项定义责任人算法基础标准标准分类数据项字段内容因子项关联定义数据标准明确数据责任人开展数据质量宣贯提升数