DTCC2016-宋洪鑫-美团点评数据仓库开发模式演进.pdfVIP

关于我 宋洪鑫 ?? 2011-2013 阿里巴巴 –? 数据实时计算 ?? 2014-至今 美团点评 –? 数据仓库开发 –? 数据治理 –? 资源管理与权限控制 –? 任务例行执行解决方案 大纲 ??现状介绍 ??开发模式回顾 ??面临的挑战 ??解决方案 ??总结与展望 大纲 ??现状介绍 ??开发模式回顾 ??面临的挑战 ??解决方案 ??总结与展望 数据仓库现状介绍 ?? ETL任务数：17000+ ?? 数据RD：600+ ?? 集群规模：3000+节点 ?? 数据总量：40P+ , 300T/天增量 数据仓库现状介绍 ?? 支撑的业务：40+业务场景 –? 餐饮 –? 旅游 –? 电影 –? 外卖 –? 配送 –? 广告 –? 风控等 数据仓库现状介绍 ?? 美团从2010年3月上线至今，数据仓库是如何发 展成今天这样规模的？ ?? 开发模式： –? 数据仓库开发过程中，数据需求方/分析师，业务方数据RD， 以及数据平台RD是之间是如何协作的，角色定位是怎样的，以 及这个过程中平台机制上是如何支持的 数据仓库现状介绍 ?? 开发模式演进时间线 史前模式 近代模式 现代模式 当代模式 2010 2012 2013.7 2015.3 大纲 ??现状介绍 ??开发模式回顾 ??面临的挑战 ??解决方案 ??总结与展望 史前模式 ?? 业务上包办：数据组RD直接对接公司内部所有 数据需求（主站团购） ?? 技术上简陋： 史前模式问题 ?? 数据层面 –? 没有集成 –? 难以复用 效率低！ ?? 工具层面 –? 重复开发 –? 管理混乱 近代模式 ?? 模式：由包办开始转向协作 ?? 技术： 近代模式问题 ?? 数据存储上： –? 不易扩展 ?? 数据接入效率低 –? 专属数据RD对接 –? 新业务理解时间长 ?? 后期维护成本高 –? 人员流动 –? 需求变更 现代模式 ?? 业务上：数据组主导+业务方协作 –? 业务量：Etl数量由几百增加到1600+ 数据接入 ETL开发 Review上线 ?? 需求分 ?? 业务方 ?? 数据组 析 RD 统一负 ?? 仓库建