携程大数据平台与服务化实践-携程-杨晓青.pdf

携程大数据平台与服务化实践 携程杨晓青 xq.yang@C 自我介绍 • 2014.8 ~ 携程-大数据平台，负责携程数据基础架构。 • 2012.4~2014.8 阿里巴巴-CDO-数据平台部，负责从无到 有搭建galaxy流计算平台，集群规模到2K台。 • 2009.2~2012.4 腾讯-数据平台部，腾讯TDW平台从无到 有建设。 目录 大数据架构 数据采集与同步 数据调度平台 数据分析平台 目录 大数据架构 数据采集与同步 数据调度平台 数据分析平台 数据平台 数据产品 数据采集 数据开发与调度 报表与展现 实时计算平 大 台 数 据 HADOOP SPARK HBASE 平 台 数据处理流程 报表系统 SPARK HIVE SQL 关系型数据库 mapreduce SPARK 数据服务 HDFS API 业务日志 消 息 ABTEST 队 Muise流处理 系统消息 列 。。。 大数据架构 数据采集与同步 数据调度平台 数据分析平台 数据同步服务 1支持SQL Server, My SQL 和Hive等携程主流数据库 间任意同步 （解决多种 同步工具混用，效率难 以保证，维护负责问题） 2.支持全量与增量数据同 步模式 3.可线性扩展 4.以SASS （SOFTWARE as a service）提供服务 交易数据同步配置 准实时数据采集 DATABASE 增量同步