携程实时计算平台实践分享.pdf

OPS/IT/CC 携程旅游网成立于1999年，总部设在上海，目前有员工 30000余人 2003年12月9 日在美国纳斯达克成功上市 携程拥有超过2.5亿的注册会员 酒店预订：在全球200多个国家和地区拥有超过120万 家酒店的会员酒店 机票预订：产品覆盖全球六大洲5000多大中城市 旅游度假：线路产品覆盖超过100多个 目的地国家和地 区；2015年大陆地区度假产品的服务人次超过2000万 OPS/IT/CC 浙江大学本科，硕士毕业 近10年工作经验，5年大数据架构的经验 之前在eBay 中国研发中心和大众点评工作过， 从0开始组件团队，搭建起大众点评数据平台 的基础架构 目前是携程的大数据平台负责人 关注大数据架构领域的发展，对Hadoop， HIVE，HBASE，Spark，Storm等有所研究， 致力于大数据架构和业务场景的结合和落地， 通过数据产生业务价值 OPS/IT/CC 缘起 小试牛刀 成熟和完善 新方向和新尝试 不断演进中的平台 OPS/IT/CC 携程数据业务的特点： • 业务部门多，形态差别大：酒店 / 机票两大BU，近20个SBU和公共部门 • 业务复杂，变化快 之前，各个业务部门也有一些实时数据应用，但存在着诸多问题： • 技术上五花八门 • 力量薄弱，应用的稳定性无法保证 • 缺少周边的配套设施 • 数据和信息共享不顺畅 OPS/IT/CC 稳定可靠的平台：业务只需要关心业务逻辑的实现，平台维护交给专业同学 完整的配套设施：测试环境，上线，监控，告警 信息共享：数据共享，应用场景共享，互相启发 及时的服务：解决从开发，上线，维护整个过程中遇到的问题 OPS/IT/CC 缘起 小试牛刀 成熟和完善 新方向和新尝试 不断演进中的平台 OPS/IT/CC 消息队列： 实时处理平台： 主要出于成熟度，稳定性的考虑，我们最后选择Storm作为数据处理的平台 OPS/IT/CC DB UBT Server Kafka Storm Redis ES BU Clients HBASE 这样远远不够 ！ OPS/IT/CC 数据共享：数据共享的前提是用户能够清楚地知道可以使用的数据源的业务的含义 以及其中数据的Schema 我们的解决方法是统一的Portal的站点和使用AVRO来定义数据的Schema；我们在 Storm之上封装了自己的API，来自动完成数据的反