实时计算平台简介精选.pdfVIP

Storm计算平台 王新春 Agenda • 实时应用场景 • 实时平台 • 实时平台后续规划 点评的实时应用场景 • Dashboard类 ：流量、交易 – 实时UV ：包括主APP （Android/iPhone/iPad ）、团APP、周边快查、 PC、M站 – 新激活用户数 – 实时交易额 APP UV iPhone UV 点评的实时应用场景 • 搜索/推荐 – 用户在点评的每一步有价值的操作 （包括 ：搜索、点击、浏览、购买、 收藏等 ），都将实时、智能的影响搜索排序 ，从而显著提升用户搜索体 验、搜索转化率。 点评的实时应用场景 • 广告 – CTR ：点击率 – 广告反作弊 – 计费 • 业务安全 – 反爬虫 – 反作弊 – …… Agenda • 点评的实时应用场景 • 实时平台 • 实时平台后续规划 实时平台——架构 数据源 传输和计算 持久化 数据服务 数据消费 Cache PC 前端日志 Log Server Swallow 打点日志 APP Redis 推荐 Nginx日志 Stream 后端日志 APP Server Blackhole Storm HBase Data Service 搜索 Update/ Delete/Insert BinLog MySQL Dashboard MySQL PUMA 实时平台——数据输入输出 • 在Storm上我能拿到那些数据 ？ – 几乎所有点评线上产生的数据都可以秒级内拿到，封装对应的数据输入 源Spout – 通过Blackhole支持日志类实时获取，打点日志/业务Log/Nginx 日志等 – 整合Puma Client （MySQL Binlog）：第一时间获取数据库数据变更 – 整合Swallow （MQ）：获取应用消息 – 整合Pigeon （RPC 框架）：支持调用第三方业务 • 其他业务如何获取Storm计算的数据输出 ：实时计算和第 三方业务解耦 – 通过data-service服务，数据可以输出Redis/HBase/MySQL等存储中 – 同样，第三方业务通过data-service服务，获取Storm计算的持久化数据 实时平台—— Blackhole架构 • Flume + Kafka • 数据传输 10TB/天