美团大数据体系-美团云MOC2015沙龙在线教育02期.pdfVIP

美团⼤数据体系 挑战, 架构, 经验总结 ⺫录 • ⼤数据在美团 • 数据流架构与设计权衡 • 美团数据体系演进 • 经验以及教训 ⺫录 • ⼤数据在美团 • 数据流架构与设计权衡 • 美团数据体系演进 • 经验以及教训 ⼤数据在美团 • ⼤数据是什么 • Volume • Velocity • Variety • Value ⼤数据在美团 • Volume • 4P+ 总存储量 • 30T+ 天增数据量 • 300+ 机器 • 1.3K 机器年度预算 ⼤数据在美团 • Velocity • 秒级别 实时数据流延迟 • 半⼩时 离线数据流延迟 • 分钟级 分析查询延迟 ⼤数据在美团 • Variety • 40K 天均任务数 • 5K 数据仓库数据表数 • 近半年上述指标增量翻倍 ⼤数据在美团 • Value • 600 分析师/运营/数据RD • 500+ 报表 • 2500+ 指标数 • 200% 推荐系统交易额占⽐提升 ⼤数据在美团 • 美团的主要挑战 • 数据量不⼩, 增⻓极快 • 业务变动速度快 • 应⽤模式复杂 • 响应速度要求⾼ • 可⽤性, 正确性要求⾼ • 基础架构演进快 ⺫录 • ⼤数据在美团 • 数据流架构与设计权衡 • 美团数据体系演进 • 经验以及教训 美团数据流架构图 美团数据流架构图 美团数据流架构图 简单聊两句数据仓库 • dim 维度 / 维度表 • ⼀般是指实际存在或虚拟存在的⼀个“东⻄” ，⽐如⽤户、项⺫、商家、品牌、商品、城市、⽇期、部 ⻔、员⼯，以及围绕这个东⻄的各种属性 • fact 事实 / 事实表 • 可以理解为⼀个实际发⽣的事情，⽐如：访问、下单、评论、维权，⽽且，⼀般来说⼀个事实都是两个或 多个维度相关联 • detail 明细表 • 对于事实和维度进⾏细粒度的计算和改进 • summary 聚合表 • 对于⼀系列事实, 按照不同的维度组合, 计算出对应条件下的指标, 并按照维度组合组织, 不同的维度组合相 当于 group by 条件 简单聊两句数据仓库 • aggr 聚合表2.0 • 元数据驱动的数据聚合, 将某个领域事实按照不同的维度组合进⾏聚合 • topic 主题表, ⼤宽表 • 将相同维度组合的聚合表进⾏拼接, 提供统⼀接⼝ 美团数据流架构图 美团数据流架构图 美团数据流架构图 美团数据流架构图 ⺫录 • ⼤数据在美团 • 数据流架构与设计权衡 • 美团数据体系演进 • 经验以及教训 美团数据体系时间线 • 史前时代 • 数据流⼯具, 报表⼯具 • 数据仓库, 调度, 元数据, hadoop • 开放平台, 多应⽤形式 • DW2.0 元数据驱动数据⽣产 美团数据体系演进 • 史前时代 - 11年6⽉前 • 内部信息系统状态