元数据驱动的数据治理.pdf

元数据驱动的数据治理

李然辉-京东科技-数据资产管理负责人

DataFunSummit#2024

目录

CONTENT

我们面临的时代背景

元数据驱动的数据治理

未来展望

01

我们面临的时代背景

DataFunSummit#2024

数字经济时代，数据治理是释放数据资产价值的基础

数据治理数据管理数据资产管理

经济规模占到GDP比重

50.2万亿元41.5%

全球占比全球排名

10.5%2

传统数据治理方法在大数据环境中不适应

•我们面临的挑战

–技术和存储能力的爆炸式增长加快了数据量、

种类和速度的变化速度

–数据标准化程度低、质量要求高

–数据总价值高，成本高，但是价值密度低

–以及，如何保护它？

从新的架构发展趋势来看，需要数据治理和目录支撑

•数据治理和目录是DataFabric的关键要求

–该框架的一些关键构建块是数据治理、数据目录、元数据和数据市场

–DataFabric本质上是一种元数据驱动的方式

•DataFabric的6种核心能力

–增强数据目录

–语义知识图谱

–主动元数据

–推荐引擎

–数据准备和数据交付

–数据编排和DataOps

从新的架构发展趋势来看，需要数据治理和目录支撑

•数据治理是DataMesh的基础原则之一

•DataMesh需要平衡：

–域需要自主操作，但在需要时相互协作

•实现这一目标的关键原则：

–权力下放和自我主权

–在领域层面管理数据质量

–自动化执行，减少手动操作

–一些跨领域的标准化以实现互操作性

•数据网格声称需要一种新的联邦数据治理范式:

–传统的数据治理过于集中，扼杀了创新和变革

–不能满足其数据产品客户的需求，因为主要关注操作数据

从新的架构发展趋势来看，需要数据治理和目录支撑

•元数据在成功实施DataOps方面发挥着关键作用

–通过数据发现和数据血缘建立事实来源

–自动化数据管道

–帮助评估数据质量

主要包括数据目录、职责

–促进协作和沟通分工、协作机制、工作流

程、数据百科等

–帮助遵守数据隐私法规

向客户交付分析(价值链)需要来自数据组织中的多个组的贡献

02

元数据驱动的数据治理案例

DataFunSummit#2024

数据变更治理

•数