互联网数据仓库之路.pdf

数据仓库技术在大众点评网的实践和案例分享 互联网数据仓库之路 Who am I • 闫剑锋 – 数据管理行业老兵，15年 – 互联网行业新兵，5年 – 执着于数据行业，并相信： • One size does NOT fit all (M. Stonebraker) • CLOUD is just automation (James Hamilton) Agenda • 引题 • 互联网+数据仓库 • 点评网的数据平台 • 案例 – 平台中的取舍 – 建模中的平衡 – 数据产品化 • 数据中心的未来 数据技术的历史反思 OLAP和BI 技术 OLTP技术 1980-1990 1990-2000 大数据技术的状态 Big Data OLAP和BI Warehouse 技术 OLTP技术 2000-2010 2010-2020 互联网+数据仓库 互联网数据挑战 数据仓库 水平扩展 数据规范化 用户触达 数据可闭环 马太效应 数据精细化 数据仓库 商务数据智能 报表、分析、临时查询 知识 (GB) 调度 权限 DM 主数据 信息(TB) 数据质量 数据整合 ELT 基础数据仓库 MR etc. Jobs 离线、实时数据(PB) ETL 点评网的数据平台 平台的发展 数据用户群 体系结构 2012年的点评数据 ~30张正式报表 产品运营部 技术部 各种临时抓 销售部 平台的发展 数据平台 数据中心 2015