唯品会大数据分析指南.pdfVIP

唯品会大数据实践 zhuchao@ 2014-9 About VipShop • #3 b2c 电子商务公司 • #5 互联网公司市值排名 • ~1300+ 技术人员, fast expanding… • 业务线：网站，移 ，物流，财务，仓储，供 应商 • ~200+ o line /~100 online 计算集群 • 10点高峰一小时(2x 晚高峰流量) • 电商大促(核心系统15x-30x 平时10点高峰) • 移 booming 19:50:05 2 Agenda • 数据平台实践 – 离线计算分析平台演化 – 实时计算平台演化 – 一些技术选型和经验 • 数据应用实践 – 系统开发和运营 – 数据魔方，选品 – 恶意用户识别/风控系统 – 商品品牌推荐 – 个性化排序 19:50:05 3 数据平台的建设 • 离线计算分析平台选建设 – 混合平台：Hadoop+Greenplum – 迁移策略和计划 – hive vs pig – hbase vs MySQL – daily job, hourly job, min job • 实时计算平台的建设 – Binlog2Kafka – MySQL2Kafka – Spark vs Storm – Redis Challenge • 外部数据 • 碰到的问题 19:50:05 4 离线平台的演化 • 2012 年底：CDC调度+GP10节点 系统稳定 • 2013 Q1 ：CDC调度+ETL Gp + Query Gp, Tuning • 2013 Q2 ： – 自有调度平台开发+ 自有抽取系统+ – Hadoop 流量开始迁移 + – GP交易数据 + Query GP • 2013 Q3： – 自有调度平台+抽取迁移 – Hadoop流量迁移结束 （70）, 交易数据迁移开始 – GP交易数据+Query GP – 核心数据小时级ETL • 2013 Q – 元数据管理系统，数据质量工具 – ETL Gp完整迁移开始 – Query GP扩容40节点 • 201 Q1 – 全部ETL@Hadoop – ~200 nodes cluster + 40 Ad-Hoc EDW – Hybrid node configuration 19:50:05 5 离线混合平台 • Referene: – Netflex, LinkedIn, eBay • GreenPlum + Hadoop – 保护现有投资 – Hadoop 海量数据分析 – ETL复杂计算 – 权限打通 • Greenplum： – GP擅长adhoc query速度快， – 分析师适应 – 不足够scalable – 长期成本 • Hadoop – Massive scalable，但是单个查询慢