携程实时大数据平台实践分享.pdf

携程实时大数据平台实践分享 GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC 2016-06-30 公司简介 OPS/IT/CC 携程旅游网成立于1999年，总部设在上海，目前有员工 30000余人 2003年12月9 日在美国纳斯达克成功上市 携程拥有超过2.5亿的注册会员 GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC 酒店预订：在全球200多个国家和地区拥有超过120万家 酒店的会员酒店 机票预订：产品覆盖全球六大洲5000多大中城市 旅游度假：线路产品覆盖超过100多个目的地国家和地 区；2015年大陆地区度假产品的服务人次超过2000万 我的介绍 OPS/IT/CC 浙江大学本科，硕士毕业 近10年工作经验，5年大数据架构的经验 之前在eBay中国研发中心和大众点评工作过， 从0开始组件团队，搭建起大众点评数据平台 GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC 的基础架构 目前是携程的大数据平台负责人 关注大数据架构领域的发展，对Hadoop，HIVE， HBASE，Spark，Storm等有所研究，致力于大 数据架构和业务场景的结合和落地，通过数据 产生业务价值 目录 OPS/IT/CC 缘起 小试牛刀 GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC 成熟和完善 新方向和新尝试 不断演进中的平台 缘起 OPS/IT/CC 携程数据业务的特点： • 业务部门多，形态差别大：酒店 / 机票两大BU，近20个SBU和公共部门 • 业务复杂，变化快 之前，各个业务部门也有一些实时数据应用，但存在着诸多问题： GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC • 技术上五花八门 • 力量薄弱，应用的稳定性无法保证 • 缺少周边的配套设施 • 数据和信息共享不顺畅 平台需求 OPS/IT/CC 稳定可靠的平台：业务只需要关心业务逻辑的实现，平台维护交给专业同学 完整的配套设施：测试环境，上线，监控，告警 信息共享：数据共享，应用场景共享，互相启发 GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC 及时的服务：解决从开发，上线，维护整个过程中遇到的问题 目录 OPS/IT/CC 缘起 小试牛刀 GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC 成熟和完善 新方向和新尝试 不断演进中的平台 技术选型