【技术分享】大众点评数据平台架构变迁.pdf

【技术分享】大众点评数据平台架构变迁 最近和其他公司的同学对数据平台的发展题做了一些沟通，发现各自遇到的问题都类似，架构的变 迁也有一定的相似性。 以下从 数据 架构 应用的角度对 2012.07-2014.12 期间大众点评数据平台的架构变迁做一个概括性 的总结，希望对还处在数据平台发展初期的同学有一些帮助，欢迎线下沟通。 1.0(2012.07) 1.1 数据： 1.2 架构： 1.3 数据应用： 2.0(2013.04) 2.1 数据： 1. 有了明确的模型分层： 2. 形成了流量、团购、信息三大基础模型及构建于三大基础模型之上的数据集市 3. 基于 volocity 开发了 canaan 计算框架。 4. 开发了一些自定义的 UDF 2.2 架构： 1. 存储和计算都基于 HIVE 2. GREENPLUM 作为 HIVE 的 “cache存在，供用户做一些小数据的快查询，报表存储。” 3. 调度：和 canaan 框架进行整合，支持用户快速新增任务，并自动导入任务依赖。 4. 主数据：保存了数据仓库元数据信息，供用户查询和系统内部各个模块交互。 5. ACL ：构建了数据仓库数据访问权限控制，包括用户权限申请、审批者审批、数据赋权等。 6. 传输： 7. 监控