中国数据资产管理峰会唯品会大数据.ppt

唯品会大数据实践 CONTENT 目录 关于唯品会 01 数据平台建设 02 大数据应用建设 03 一些想法 04 数据平台实践 离线计算分析平台演化 实时计算平台演化 一些技术选型和经验 数据应用实践 系统开发和运营 业务和产品运营 恶意用户识别/风控系统 商品品牌推荐 个性化排序 | 产品 | 系统 | 算法 数据仪表盘 、数据魔方、比价系统、地图服务等 精准推荐 基础算法库 选品、分仓与预调拨 数据实时接入 离线计算平台 实时计算平台VRC 资源管理平台 运维 监控 测试 | 数据 细分人群 用户Lookalike 唯品会用户画像 唯品会大数据 VIP Big Data 整体规划 平台服务 数据服务 数坊 分析师平台 对外服务 VRC 开发者平台 画像计算 VRE Sqoop/VDP/Flume/Kafka Job调度/Yarn调度 运维 监控 测试 数据产品 自助 报表平台 应用 产品 服务 接入 计算 存储 调度 系统-大数据基础平台规划 自助 取数平台 数据平台的建设 离线计算分析平台选建设 混合平台：Hadoop+Greenplum 迁移策略和计划 daily job, hourly job, min job 扩容，扩容，扩容 离线和实时的混合 开放平台 实时计算平台的建设 Binlog2Kafka VDP MySQL2Kafka Spark vs Storm Redis Challenge 稳定性挑战 开放平台 碰到的问题 离线平台的演化-1 2012 年底：CDC调度+GP10节点 系统稳定 2013 Q1：CDC调度+ETL Gp + Query Gp, Tuning 2013 Q2： 自有调度平台开发 + 自有抽取系统+ Hadoop 流量开始迁移 + GP交易数据 + Query GP 2013 Q3： 自有调度平台+抽取迁移 Hadoop流量迁移结束（70）, 交易数据迁移开始 GP交易数据+Query GP 核心数据小时级ETL 2013 Q4 元数据管理系统，数据质量工具 ETL Gp完整迁移开始 Query GP扩容40节点 2014 Q1 全部ETL@Hadoop ~200 nodes cluster + 40 Ad-Hoc EDW Hybrid node configuration 离线混合平台-2 Referene: Netflex, LinkedIn, eBay GreenPlum + Hadoop 保护现有投资 Hadoop 海量数据分析 ETL复杂计算 权限打通 Greenplum： GP擅长adhoc query速度快， 分析师适应 不足够scalable 长期成本 Hadoop Massive scalable，但是单个查询慢 海量ETL计算 Web查询 离线开放平台-3 开放平台 自助ETL开发 自助报表开发和展现 自助取数分析 成本breakdown, change back 性能，实时，扩展性，成本 Presto Druid 实时计算系统架构 VRC 模型训练平台 Flume/VDP/VMS VRE 应用开发： 任务配置 可视化编程 Esper EPL 平台组件： 输入组件 输出组件 UDF VRC Portal： 任务发布 日志查看 监控告警 Rule Layer Hbase vs Redis 背景： 个性化user profile, high QPS, very time sensitive 用户信用体系user profile ,low QPS, non-critical 用户实时浏览，订单历史，high tps, high qps 都是海量数据 看上去Hbase更加合适， 但是不放心 选择： Critical 的Redis Non-critical 的Hbase 积累经验，逐渐往Hbase dual write 其实Hbase也不便宜，就是scale不动系统 Redis某种程度上也可以实现 21:48:43 11 Redis Storm计算用redis保存中间和结果数据 流量一直增加 大促流量狂涨 计算复杂度一直增加 不停拆分。。。 每次改代码 怎么办？ 逐个模块拆分 一开始就按模块写不同instance 一开始就Shard Twemproxy 优化数据结构 Pipeline/Batch 不求100%准确hll log Redis Cluster 21:48:43 12 Challange 实时计算作为平台 离线和实时的融合 离线向实时的迁移成本 应用实践 业务应用 运营分析 帮助公司买 帮助公司卖 技术开发和运营 Telescope 业务监控(storm) Logvi