酒旅数据治理实践.pptx

美团酒旅数据治理实践美团-大数据部-李建舒目录背景介绍治理实践未来规划为什么要做数据治理？数据开发产?问题数据从产?到应?全流程数据产?数据采集数据?产数据存储数据应?数据销毁消除问题数据治理需要治理哪些问题？质量数据常见问题数据质量标准规范成本控制数据安全研发及管理效率标准成本数据问题安全效率美团酒旅数据现状数据生产任务数?临问题标准化规范缺失，数据?产、存储和应?各环节的流程规范?统?标准数据质量问题多，数据冗余多，数据烟囱式建设，指标?径乱，?法保证数据?致性成本增?过快，?数据存储和计算费?增?快，成本控制和调优困难数据安全控制弱，数据?产和查询权限?统?规则，数据密级?统?管理数据管理和运维效率低，数据使?问题的咨询多，数据RD需要花费?量时间解答业务同学的问题16000140001200010000800060004000200002017Q12017Q22017Q32017Q42018Q12018Q22018Q32018Q4目录背景介绍治理实践未来规划数据治理策略数据治理的内容数据治理的实现路径标准化规范及组织保障组织技术体系质量标准质量效率成本安全数据治理成本技术安全元数据效率衡量元数据衡量指标标准化及组织保障制定数据管理委员会标准化执?组织业务数据产品组业务数据开发组产品及运营部后台开发团队分析?具中?业务销售部商业分析部?数据平台全链路数据标准化建设数据采集数仓开发指标管理数据应?数据?命周期管理业务部?技术团队8数据质量技术实现统??户产品??数据产品管理者产品 业务销售产品 数据检索产品统?数据服务服务接? API接? 消息推送 OLAP查询统?指标逻辑指标管理 指标管理 维度管理 模型管理 查询逻辑统?数仓规范建模数据仓库常?问题数仓规范性差数据?致性问题多数据应??法把控多个产品中指标逻辑不同应?层分析主题层组件层明细层业务系统业务系统数据前端流量后台?志统一数仓规范建模事前标准化规范事中配置化开发事后规则化验证模型设计规范模型开发?具模型基础信息数仓主题和分层ETL代码?成命名规则?具模型命名标准化?动命名标准化上线规则监测?具数仓规范性监测数据依赖监测数仓规范监控数仓分层数据?缘数仓相似度数仓规范报告数仓规范报告数据冗余报告数仓分层和主题命名、类型、词根公共维度、关联关系模型开发规范开发流程代码编写注释信息数仓开发配置化-命名规范工具统一指标管理系统数据应?1.标准化指标管理系统流程管理标准化指标定义标准化指标使?标准化指标管理元数据管理指标定义业务描述计算逻辑关联模型模型管理模型事实表关联维度表关联主键限定条件2.系统化指标信息管理系统化查询解析系统化元数据管理系统化物理表管理表基础信息表类型推荐度归属业务数据仓库指标一致性查询数据应?指标管理指标查询指标逻辑创建指标逻辑解析查询语句解析指标逻辑管理选择指标和维度?成查询语句数仓模型管理存储引擎查询解析对应数据模型KylinHiveDoris指标逻辑管理MysqlESDruid定位底层物理表数据仓库统一数据服务平台数据应??销售?作台商家后台运营系统数据产品应?数据服务平台-Buffalo接?层管理聚合查询KV查询详情查询分组查询推推送数据拉接?调?控制层性能监控权限管理参数校验业务资源隔离服务层存储引擎查询封装查询缓存-Tair接?管理统?数据服务平台存储层KVESKylinDorisMysqlTidbDruidAPI配置导?层数据导?Sync2KVSync2ESSync2MysqlSync2Tidb存储配置同步任务配置任务管理器调度触发器监控报警数据仓库数据仓库14统??户产品??分析决策产品分析应?数据集市业务销售数据产品战区应?数据集市数据资产管理产品系统元数据管理者仪表盘经营分析流量分析业绩分析商家数据绩效提成数据使?指南数据?动答疑数据资产全景指标管理系统数据仓库整体系统架构数据管理分析决策产品经营分析 运营?盘流量罗盘 数据播报业务销售产品业绩分析 商家管理收益管理 ?单推送数据资产管理数据产品统?产品??数据使?指南治理组织答疑机器?治理衡量指标数据接?统?数据服务服务层查询封装缓存机制数据接?应?监控存储层流程规范KylinKafkaESDorisMysqlTidbDruid指标管理统?指标逻辑数据安全维度管理指标管理模型管理查询逻辑数据成本应?集市层数仓主题层数仓组件层数仓明细层数据仓库统?数仓建模监控报警业务系统业务数据前端流量后台?志数据运营效率数据使?数据需求方分析师管理者产品运营战区销售RD目标找得到看得懂用得对3?问题找不到：有没有，在哪?看不懂：数据含义，数据来源不会?：什么逻辑，怎么关联怎么快速、正确的找到和