B站数据治理运营框架应用实践.pptx

DataFunCon#2024

B站数据治理运营框架应用实践

演讲人：高隆—bilibili—数据仓库工程师

高隆

“

表哥DAMA

B站

数据成本治理数据质量

”

讲师简介

分析工具：DAMA-Bok

案例1--2022-05-11存储水位风险

虚拟组织

嵌入治理

元数据管理

案例2--202X-XX-XX某页指标错误

质量运营

质量的需求与满足

数据治理中的风险

目录

数据管理知识体系DAMA-DMBOK

DAMA成立于1980年，是一个全球性数据管理和业务专业志愿人士组成的非营利协会，致力于数据管理的研究和实践

*左上图是买书的时候送的鼠标垫

1

车轮图：11个知识领域

2

6边形图：每个知识领域的7件事情

1

2

3

12原则：采取行动和判断时的依据

4

语境关系图：每个知识领域都可以展开成具体的活动、方法、目标、指标

3

4

案例1 -- 2022-05-11 存储水位风险

名词解释：

存储水位：HDFS集群存储

部门数管：部门的“CDO”

Quota：部门预算资源分配

A级数据：多为跨部门使用数据

Trash数据：一般存7日

案例背景

案例背景

问题与挑战

预案

执行项

DAMA Bok 原则

问题

4级（90%）

通知数管执行治理

数据管理需要领导力支撑

组织变更

数据资产无定期盘点

3级（93%）

删除长期无访问数据

数据价值使用经济术语表达

没有执行驱动力

删除数据存在风险

2级（95%）

删除trash

调整冷数据容量

数据管理需求驱动技术决策

trash类数据如何归属

用户没有直接控制trash大小的能力

1级（97%）

根据分配限制部门写入

数据管理是数据生命周期的管理

组织变更预算归属变更难管理

限制数据写入风险极高

破题思路

问题

DAMA Bok 知识领域 - 方案

Part1

1.

2.

组织变更

数据资产无定期盘点

数据治理-虚拟组织

数委会（人的虚拟组织）

资产空间（数据的虚拟组织）

Part2

4.

8.

删除数据存在风险

限制数据写入风险极高

数据治理-嵌入治理

预算分配

QuotaLimit（预算超限，限制“新增”）

数据退役SOP

Part3

3.

7.

没有执行驱动力

组织变更预算归属变更难管理

数据治理+元数据-元数据的管理与应用

元数据数仓（Gravitino开源项目）

资产账单

数据治理平台

Part2

破题思路–变更方案

Part

1

Part3

Part1：数委会--组织

5

%

20

%

80-85%

问题应该在该层解决

问题上升渠道

执行情况检查

组织中的决策层

数据委员会

治理单元管理团队

数据空间团队

组织目标

数据目标长期规划

Part1：数委会--80%数据治理、确权

5

%

20

%

80-85%

问题应该在该层解决

问题上升渠道

执行情况检查

组织中的决策层

数据委员会

治理单元管理团队

数据空间团队

组织目标

数据目标长期规划

Part1：数委会--20%数据规

范

5

%

20

%

80-85%

问题应该在该层解决

问题上升渠道

执行情况检查

组织中的决策层

数据委员会

数据空间团队

治理单元管理团队

组织目标

数据目标长期规划

Part1：数委会--5%冲突解决

5

%

20

%

80-85%

问题应该在该层解决

问题上升渠道

执行情况检查

组织中的决策层

数据委员会

数据空间团队

治理单元管理团队

组织目标

数据目标长期规划

Part1：数委会--议题

季度目标

资源分配

红线规则

基建能力

平台工具

治理策略

Part2：嵌入治理--机制

Quota–old(till2022.H1)

2次/年，组织架构变更

Quota–v1.0

数委月会=12次/年，空间=中间组织，待治理问题=备用资产

Part2：嵌入治理--治理平台

Part3：元数据的管理--元数据主题（概念模型）

11个一级主题

57个子主题

Part3：元数据的管理--元模型（概念模型）

Part3：元数据的管理--元数据子主题（逻辑模

型）

Part3：元数据的管理--元数据的指标与标

签

50+管理过程

100+原子指标

600+标签

Part3：元数据的应用--资产账单

物理资源-虚拟资源

01

资源分配+运营成本

02

应用举例“潮汐账单”

03

*关于“指标标签”与“道行数知名”

道

数

名

知

行

2

3

4

5

6

1A

B

案例2 – 202X-XX-XX 某页面 指标展示 错误

案例背景（2线6问）

问、答、tod