淘宝海量数据产品技术架构.pdfVIP

淘宝海量数据产品技术架构 张轩丞（朊春） 淘宝网-数据平台与产品部 关于 □ 张轩丞（朊春） • 淘宝数据平台与产品部（杭州） • vi党，脚本语言爱好者 • 关注NodeJS ，cnode社区组织者乊一 • pengchun@ • ：我是aleafs 数据平台与产品 搜索、浏览、收藏、交易、评价... 数据 淘宝网 淘宝卖家 供应商 用户 产品 消费者 一些数字 □ 淘宝主站： □ 数据产品： • 30亿庖铺、宝贝浏览 • 50G统计汇总结果 • 10亿计的在线宝贝数 • 千万量级数据查询请求 • 千万量级交易笔数 • 平均20.8ms的响应时间（6月1日） 海量数据带来的挑战 □ 计算 • 计算的速度 • 处理吞吐量 □ 存储 • 存储是为了更方便地查询 • 硬盘、内存的成本 □ 查询 • “大海捞针” • 全“表”扫描 架构总览 数 据 主站备库 RAC 主站日志 源 DataX / DbSync / TimeTunnel 计 算 Hadoop集群 / 云梯 实时流数据 层 1500节点，每日40000 JOB ，处理数据1.5PB ，凌晨2点结束，结果20T 存 储 MyFOX Prom 层 查 询 数据中间层 / glider 层 产 数据魔方 淘宝指数 开放API 品 今天的话题 □ 关系型数据库仍然是王道 □ NoSQL是SQL的有益补充 □ 用中间层隔离前后端 □ 缓存是系统化的工程 关系型数据库仍然是王道 关系型数据库 SELECT IF(INSTR(f.keyword, ) 0, □ 有成熟稳定的开源产品 UPPER(TRIM(f.keyword)), □ SQL有较强的表达能力 CONCAT(b.brand_name, ,UPPER(TRIM(f.keyword)))) AS f0, • 只存储中间状态的数据 SUM(f.search_num) AS f1, • 查询时过滤、计算、排序 ROUND(SUM(f.search_num) / AVG(f.uv), 2) AS f3 □ 数据产品的本质 FROM dm_fact_keyword_brand_d f • 拉关系 INNER JOIN dim_brand b ON f.keyword_brand_id = b.brand_id • 做计算