大数据存储和计算资源管理 单超.pptx

唯品会大数据平台大数据存储和计算资源管理邮箱: mailto:eric.shan@ericmailto:eric.shan@.mailto:eric.shan@smailto:eric.shan@han@mailto:eric.shan@vmailto:eric.shan@ipmailto:eric.shan@smailto:eric.shan@homailto:eric.shan@pmailto:eric.shan@微信: shanchaoeric唯品会大数据平台规划广告联盟精准营销个性化推荐CRM(RE(实时推荐A台 ?ABT(分流与实DMP统一Mixer(接入分发 ?验 ?货品 画像T户 数DS)oring(初 选 ?Filtering(过S ?Sorting(精E ?P型训练A台流B计算A台VDProcess实时计算g V R 维 控 cVDBank实时接入VDEngine分布式存 算法 库SparkDNN离线计算A台数D管控数D分M数DF索数D服务标准化校准元数DeiV控唯品会大数据平台现状大数据管理工作范畴? 业务系统? 调度系统ETL? 数据模型? 元数据/主数据管理? 数据质量? 开发流程? 运维流程? 数据审计和安全?资源管理“数据平台使用申请”? 用户提交：? 资源类型? hdfs存储/hive数据库/hive计算资源/mr计算资 源...? 资