DTCC2016-宋洪鑫-美团点评数据仓库开发模式演进.pdfVIP

DTCC2016-宋洪鑫-美团点评数据仓库开发模式演进.pdf

  1. 1、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。。
  2. 2、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载
  3. 3、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
  4. 4、该文档为VIP文档,如果想要下载,成为VIP会员后,下载免费。
  5. 5、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问请联系我们
  6. 6、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
  7. 7、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多
关于我 宋洪鑫 ?? 2011-2013 阿里巴巴 –? 数据实时计算 ?? 2014-至今 美团点评 –? 数据仓库开发 –? 数据治理 –? 资源管理与权限控制 –? 任务例行执行解决方案 大纲 ??现状介绍 ??开发模式回顾 ??面临的挑战 ??解决方案 ??总结与展望 大纲 ??现状介绍 ??开发模式回顾 ??面临的挑战 ??解决方案 ??总结与展望 数据仓库现状介绍 ?? ETL任务数:17000+ ?? 数据RD:600+ ?? 集群规模:3000+节点 ?? 数据总量:40P+ , 300T/天增量 数据仓库现状介绍 ?? 支撑的业务:40+业务场景 –? 餐饮 –? 旅游 –? 电影 –? 外卖 –? 配送 –? 广告 –? 风控等 数据仓库现状介绍 ?? 美团从2010年3月上线至今,数据仓库是如何发 展成今天这样规模的? ?? 开发模式: –? 数据仓库开发过程中,数据需求方/分析师,业务方数据RD, 以及数据平台RD是之间是如何协作的,角色定位是怎样的,以 及这个过程中平台机制上是如何支持的 数据仓库现状介绍 ?? 开发模式演进时间线 史前模式 近代模式 现代模式 当代模式 2010 2012 2013.7 2015.3 大纲 ??现状介绍 ??开发模式回顾 ??面临的挑战 ??解决方案 ??总结与展望 史前模式 ?? 业务上包办:数据组RD直接对接公司内部所有 数据需求(主站团购) ?? 技术上简陋: 史前模式问题 ?? 数据层面 –? 没有集成 –? 难以复用 效率低! ?? 工具层面 –? 重复开发 –? 管理混乱 近代模式 ?? 模式:由包办开始转向协作 ?? 技术: 近代模式问题 ?? 数据存储上: –? 不易扩展 ?? 数据接入效率低 –? 专属数据RD对接 –? 新业务理解时间长 ?? 后期维护成本高 –? 人员流动 –? 需求变更 现代模式 ?? 业务上:数据组主导+业务方协作 –? 业务量:Etl数量由几百增加到1600+ 数据接入 ETL开发 Review上线 ?? 需求分 ?? 业务方 ?? 数据组 析 RD 统一负 ?? 仓库建

文档评论(0)

精品资源 + 关注
实名认证
文档贡献者

该用户很懒,什么也没介绍

1亿VIP精品文档

相关文档