淘宝数据魔方系统架构.pdf

淘宝数据魔方的系统架构 殷琳君（长林） Agenda □ 数据产品总体架构 □ 分布式MySQL集群 □ NoSQL存储与计算 □ 统一的数据中间层 □ 通用数据报表框架 每天的数据 □ 淘宝主站： • 30亿店铺、宝贝浏览 • 千万量级交易笔数 □ 数据产品： • 60G统计汇总结果 • 千万量级数据查询请求 海量数据带来的挑战 □ 计算 □ 存储 □ 读写 架构总览 数 据 主站备库 RAC 主站日志 源 DataX / TimeTunnel 计 算 Hadoop集群 实时流数据 层 存 储 MyFOX Prom 层 查 询 数据中间层 / glider 层 产 数据魔方 淘宝指数 开放API 品 分布式MySQL集群—MyFOX 需求： □ SQL查询 □ 海量存储 □ 可横向扩展 □ 对应用透明 □ 兼顾性能 分布式MySQL集群—MyFOX □ 分库分表 • 基于业务特点 □ 透明的中间层（MyFOX ） 云梯 MyFOX APP • 查询代理 数据装载 数据查询 • 数据装载 • 集群管理 MySQL 集群 MyFOX—分片规则 □ 冗余复制 • 小表 • 访问频繁 • JOIN □ 条目切割 • 按路由字段的值，每N行切片 • 路由字段是一级索引 • 分散压力、并行查询 示例：条目切割 thedate tid =11^A2090000 □ 切片 thedate tid =12^A2120000 thedate tid =13^A760000 thedate tid =14^A289 • 阈值（200W ） thedate tid =11^A2090000 • 上浮动（5% ） thedate tid =12^A2000000 thedate