中国数据资产管理峰会-唯品会大数据.pptVIP

我们走过的路 2014 Q3-Now: 首页和列表页的个性化排序 机器学习train model Hadoop 生成 user pro profile Storm 计算实时转化销售数据，用户实时行为和意图 实时排序首页和列表页 下一步 更多引入个性化因子(feature) 细化user/brand profile ,更多数据 引入更多其他算法，做到算法可以灵活替代 不但个性化排序和推荐，还可以有更多 * * 第三十一页，共三十八页。 个性化推荐下一个阶段 实时，实时，再实时 实时计算商品品牌信息，用户profile 实时推荐 实时算法迭代更新 实时Abtest verify 个性化，个性化，个性化 移动天然是个个性化的好场所 更多的个性化因子 更加全面的数据：用户画像建设，曝光数据的收集… 第三十二页，共三十八页。 个性化阶段性成果 PC端 推荐： 10%~12% PC销售占比 首页个性化排序 ~4%销售金额提升 移动端(2014/12) 首页个性化排序 ~4%销售金额提升 列表页排序优化 ~15%销售金额提升 Overall: ~17% * * 第三十三页，共三十八页。 推荐关键点 * 第三十四页，共三十八页。 解决之道 * 第三十五页，共三十八页。 一些小结 技术选型： 业界标准best practice 成熟技术: 技术本身的成熟度，和我们队这个技术的把控力 reference customer/implementation 用最合适的技术，而不是最先进的技术 Don’t reinvent the wheel 框架 算法 基础架构/数据很重要 模块化 通用化 Things Change 半年前不用，可能现在用； Spark，Hbase * * 第三十六页，共三十八页。 THANK YOU 第三十七页，共三十八页。 内容总结 唯品会大数据实践。数据仪表盘 、数据魔方、比价系统、地图服务等。Job调度/Yarn调度。2012 年底：CDC调度+GP10节点 系统稳定。自有调度平台开发 + 自有抽取系统+。Hadoop 流量开始迁移 +。Hadoop流量迁移结束（70）, 交易数据迁移开始。GP交易数据+Query GP。元数据管理系统，数据质量工具。GreenPlum + Hadoop。成本breakdown, change back。Hbase vs Redis。积累经验，逐渐往Hbase dual write。其实Hbase也不便宜，就是scale不动系统。15:48:09。Data Service Quality。大数据对于数据化运营 第三十八页，共三十八页。 唯品会大数据实践 第一页，共三十八页。 CONTENT 目录 关于唯品会 01 数据平台建设 02 大数据应用建设 03 一些想法 04 第二页，共三十八页。 数据平台实践 离线计算分析平台演化 实时计算平台演化 一些技术选型和经验 数据应用实践 系统开发和运营 业务和产品运营 恶意用户识别/风控系统 商品品牌推荐 个性化排序 第三页，共三十八页。 | 产品 | 系统 | 算法 数据仪表盘 、数据魔方、比价系统、地图服务等 精准推荐 基础算法库 选品、分仓与预调拨 数据实时接入 离线计算平台 实时计算平台VRC 资源管理平台 运维 监控 测试 | 数据 细分人群 用户Lookalike 唯品会用户画像 唯品会大数据 VIP Big Data 整体规划 第四页，共三十八页。 平台服务 数据服务 数坊 分析师平台 对外服务 VRC 开发者平台 画像计算 VRE Sqoop/VDP/Flume/Kafka Job调度/Yarn调度 运维 监控 测试 数据产品 HIVE Presto SPARK R Hbase Druid HDFS Redis Cluster VRE实时算法预测 MLLib实时训练 分析统计任务 GP Storm 自助 报表平台 应用 产品 服务 接入 计算 存储 调度 系统-大数据基础平台规划 自助 取数平台 第五页，共三十八页。 数据平台的建设 离线计算分析平台选建设 混合平台：Hadoop+Greenplum 迁移策略和计划 daily job, hourly job, min job 扩容，扩容，扩容 离线和实时的混合 开放平台 实时计算平台的建设 Binlog2Kafka ?VDP MySQL2Kafka Spark vs Storm Redis Challenge 稳定性挑战 开放平台 碰到的问题 第六页，共三十八页。 离线平台的演化-1 2012 年底：CDC调度+GP10节点 系统稳定 2013 Q1：CDC调度+ETL Gp + Query Gp, Tuning 2013 Q2： 自