抖音数据治理思路解析：全链路治理与多团队治理.pptxVIP

抖音数据治理思路解析：全链路治理与多团队治理抖音集团数据BP专家王玮

前世今生01挑战与机遇并存02未来展望04全链路解决方案03目录抖音数据BP治理演进历程下一阶段数据治理突破在哪萌芽期成长期成熟期BP团队自身治理挑战业务成熟带来治理挑战公司数据环境带来的治理挑战三驾马车策略组织工具业务趋向成熟，要求挑战更高应对新的挑战，解决方案是什么

前世今生数据治理BP内重视内功修炼、也将能?和影响?向业务团队输出业务飞速发展时期，以快速响应支持业务为主。治理工作更多以突击、被动、运动式为主萌芽期成长期BP团队开始将数据治理能力和方案向业务赋能。向解决方案式数据治理迈进成熟期excel式治理运动式治理业务开始关注数据中心成本，数据质量、数据安全等命题。数据治理工作向体系化发展数据中心成本治理数据安全治理数据质量治理业务用数体验向业务团队赋能泛治理概念

面临的挑战和机遇a2mT.HmAsNuKpS.coFmOR.cnYOURSUPPORTz团队挑战业务挑战挑战数据团队自身挑战EB级数据体量数据团队多样性数十万core计算任务业务规模/玩法多样数据安全、可靠降本增效分布式治理全链路灵活性数据链路组件众多业务团队更高的要求公司多样性带来挑战上下游数十团队公司挑战

数据治理三驾马车数据治理组织工具策略数据治理委员会分布式治理产品工具能力数据治理策略治理组织保障多团队联合虚拟小组

战略层愿景降本增效成本经营管理/资源管理/存储治理/计算治理业务用数体验提升数据及时性/数据准确性/查询效率高安全放心数据资产密级管理/审批合规/二次分发策略框架成本治理-由大到小预算管理 成本分摊 成本库管理 队列管理 组件管理表治理 任务优化 OLAP治理质量治理-一切从分级开始事前管控 数据分级 研发规范 变更检查事中运维 预警巡检 影响评估 运维止损事后治理 劣化监控 高风险治理 归因分析安全和合规-一切从分级开始数据分类管理数据申请、审批管理数据流转、分发治理数据接入加密管理网络安全法规数据的保密性用户隐私数据保护全面诊断目标管理问题分发问题处置进展运营效果复盘元数据能力应用和场景血缘研发和治理规范数据收集和存储基础层数据治理策略框架

全链路治理动线框架诊断定目标事后治理动线治理发动机处置治理任务处置定期检查任务和进度按照优先级执行任务问题分发进展运营效果复盘治理任务下发

高效推动治理目标落地协作取长补短以数据与治理能力赋能数据BP团队研发团队分析师团队专业数据生产、运维、管理专业数据治理能力以及配套产品特点降本增效多团队，追求效率与标准目标与挑战重度依赖离线数据分析缺乏治理经验、手段特点关注分析效率资源有限目标与挑战轻度依赖离线数据专业在线数据中心成本治理能力，但离线侧数据治理能力薄弱特点降本增效多团队，追求效率与标准目标与挑战全链路治理动线目标管理与动机-多团队协作

目标标准化0 业务单位成本102 数据中心成本03 优化目标04优化目标诊断全链路治理动线目标管理与动机-数据BP篇上图?真实数据，仅demo演示

全链路治理动线目标管理-数据BP篇成本治理标准体系业务视角兼容多业务形态财务视角数据团队视角业务单位成本=成本/业务核心CD数据中心成本占比结果指标过程指标策略季度/月/天成本无效/错挂账单账单治理：无效、错挂、低效账单治理存储成本目标存储策略覆盖率无效、低效存储占比存储格式策略：压缩格式转zstd用进废退策略：无效、低效存储治理存储Quota目标模型存储策略：类拉链数据计算成本目标队列利用率、占用率任务失败率任务资源浪费率低优资源引擎优化：SparkNative算子优化/HDFS并发读/基于PBO自动调参计算Quota目标队列调度优化：基于数据场景标签、分级调度策略、削峰填谷策略优化目标=自然增长-quota目标优化预估目标≈优化目标数据模型优化：公共层沉淀、减少重复计算数据架构优化：批流一体、数据bucket化上图?真实数据，仅demo演示

全链路治理动线目标管理-数据BP篇优化预估目标诊断近xx天无热度分区、表数据无更新数据TTL设置不合理低热数据未导入温存CPU利用率提升内存利用率提升廉价资源占比提升规则引擎式诊断无效存储低效存储标杆式诊断资源利用率低优资源占比上图?真实数据，仅demo演示

治理和数据能力结合线下购买投转放化-、吸分引享目线标上受传众播发酵数据能力查询SQLInsight技术优化数据能力治理能力BP拆解治理目标定规范、防劣化解决方案常态化治理BP定目标 BP定规范赋能业务提升自身数据工具、产品能力全链路治理动线目标管理-业务分析师篇

诊断能力自动化、批量治理能力业务研发结合业务特性判断方案适配性BP提供成本诊断