B站（高隆）：数据治理运营框架-实现亿级费用减省的操作系.docxVIP

TOP1Tni10n10n100T主办方msup

nn10n10010010010n100100

100B站的数据治理运营框架实践

10010010010010010

100

100100

100100

100

高隆bilibili数据仓库工程师

10n100

n0

n010n

10nTnn

10010n10010n

10010n10n

10010n

msup

表哥DAMA

B站

数据成本治理数据质量

高隆

10nCASESTUDIESTOP1光窗

10n

CASESTUDIES

TOP1光窗

msup

分析工具：DAMA-Bok

案例1--2022-05-11存储水位风险

·虚拟组织

·嵌入治理

·元数据管理

案例2--2023-10-30数据丢失复盘

·质量运营

·质量的需求与满足

·数据治理中的风险

10nCASESTUDIESTOP1光窗

10n

CASESTUDIES

TOP1光窗

msup

数据管理知识体系(DAMA-DMBOK2)

数建和设计部D?M数相普理12游

数建和设计

部

D?M数相普理12游

人

热K即

1nm

教鼓兴盐

2

师

啤教÷

文章

文

盘数撤仓和目标和别的IAn

盘

数撤仓和

目标和别

的

IA

n

务智由文化

务智由

文件机内

文件机内骞营建

DIAGRADAMA成立于1980年，是一个全球性数据管理和业务专业志愿人士组成的非营利协会，致力于数据管理的研究和实践

DIAGRA

GENERICCON

dgezre3

dgezre

3

DefinitiorHigh-leveldescriptionoftheko

dgeAe

dgeAe

oftheKno

1.Goall2.Goal21

1.Goall

2.Goal2

1

D-lverah

Delive

De

DeDo

Inputs2PLanningActiviry/ActivicGnup(P

Inputs

2

PLanningActiviry/ActivicGnup(P

Inpur

Inpur2

Dslvenb

zneall

Knowled

1.Subactivity

Input3Inputsaregenerally.trolAitiitny/Activity

Input3

Inputsaregenerally

outputsfromotherKnowledgeAreaslpoCm)

outputsfromother

KnowledgeAreas

3语境关系图：每个知识领域都可以展开成具体的活动、方法、目标、指标Cors3.pctivarlo4ucpcic)/Activiny4Grorp(o)

3

语境关系图：每个知识领域都可以展开成具体的活动、方法、目标、指标

Cors

Participants.

Role

SupplierSuppber

Supplier

Suppber2

4

12原则：采取行动和判断时的依据

HetricxDryer

Hetricx

Tool

Toolt

siapparr

peeuwcog(D)Developmen.(0)OperatonTechnisen

peeuwco

g(D)Developmen.(0)Operaton

msup

案例1--2022-05-11存储水位风险

10nCASESTUDIESTOP1光窗

10n

CASESTUDIES

TOP1光窗

msup

案例背景

名词解释：

·存储水位：HDFS集群存储

·部门数管：部门的“CDO”

·Quota:部门预算资源分配

·A级数据：多为跨部门使用数据

·Trash数据：一般存7日

四级预案

过90%

B门JQuota