专4-2携程实时计算平台实践分享.pdf

携程实时大数据平台实践分享 @张翼 公司简介 携程旅游网成立于1999年，总部设在上海，目前 有员工30000余人 2003年12月9 日在美国纳斯达克成功上市 携程拥有超过2.5亿的注册会员 酒店预订：在全球200多个国家和地区拥有超过 120万家酒店的会员酒店 机票预订：产品覆盖全球六大洲5000多大中城市 旅游度假：线路产品覆盖超过100多个目的地国家 和地区；2015年大陆地区度假产品的服务人次超 过2000万 我的介绍 浙江大学本科，硕士毕业 9年工作经验，5年大数据架构的经验 之前在eBay中国研发中心和大众点评工作 过，从0开始组件团队，搭建起大众点评 数据平台的基础架构 目前是携程的大数据平台负责人 关注大数据架构领域的发展，对Hadoop， HIVE，HBASE，Spark，Storm等有所研究， 致力于大数据架构和业务场景的结合和落 地，通过数据产生业务价值 目录 缘起 小试牛刀 成熟和完善 新方向和新尝试 不断演进中的平台 我缘起的介绍 携程数据业务的特点： • 业务部门多，形态差别大：酒店 / 机票两大BU，超过15个SBU和公共部 门 • 业务复杂，变化快 之前，各个业务部门也有一些实时数据应用，但存在着诸多问题： • 技术上五花八门 • 力量薄弱，应用的稳定性无法保证 • 缺少周边的配套设施 • 数据和信息共享不顺畅 平台需求我的介绍 稳定可靠的平台：业务只需要关心业务逻辑的实现，平台维护交给专业同学 完整的配套设施：测试环境，上线，监控，告警 信息共享：数据共享，应用场景共享，互相启发 及时的服务：解决从开发，上线，维护整个过程中遇到的问题 我目录的介绍 缘起 小试牛刀 成熟和完善 新方向和新尝试 不断演进中的平台 技术选型我的介绍 消息队列： 实时处理平台： 主要出于稳定性的考虑，我们最后选择Storm作为数据处理的平台 Kafka我的介绍简介 • 消息在一个Topic Partition 中会按照 它发送的顺序 • 每个partition分布在集群的每台服 务器上，可以为每个partition来设 置多个Replication （Leader / Follower） • 1个topic 的replication factor是N， 能容忍N-1台机器Failed而没有数据 损失 Storm我的介绍简介 Spout：“水龙头”数据接入 单元 Nimbus：Master节点 Bolt：数据处理单元 Supervisor：Worker节点，用 Storm的并发的三个层次： 来管理worker • Worker • Executor 两者之间通过ZK来做通讯 • Task 系统架构示意图我的介绍