阿里搜索实时计算及在线学习系统Pora介绍.PDFVIP

阿里搜索实时计算及在线学习 系统Pora介绍 阿里巴巴-搜索事业部-梁义（毅行） liangyi.ly@ 2015-6-3 2015-6-3 提纲 • 概要介绍 • 实时计算 • 在线学习 Pora概况 • 基于用户日志的实时计算和在线学习系统 • 海量数据处理 –每天处理几百亿条实时消息 –沉淀用户行为、商品访问、特征权重海量数据 –集成算法模型，实时更新在线服务 • 端到端秒级实时 –从用户行为发生到线上感知的全链路反馈 • 基于Java实现 业务场景 • 应用场景 –实时排序/流量调控（成交提升10% ） –实时反作弊 –实时个性化搜索/推荐 • 业务线 –淘宝 –天猫 –聚划算 –手淘 – 1688 性能现状 • 实时性 –端到端（从日志发生至线上生效）平均延迟3-4s – Pora本身处理耗时在200ms左右 • 数据量 –每天实际处理约500亿用户/商品行为消息 –双11预计超过2000亿 • QPS –正常峰值超过100万/s ，双11预计超过400万/s –对应内部HBase QPS超过500万/s ，双11预计 超过2000万/s 提纲 • 概要介绍 • 实时计算 –总体设计 –核心层 –业务层 • 在线学习 Pora总体架构 Pora垂直分层 Pora核心层(Tec)特点 • 高吞吐，低延迟，易嵌入，跨平台 – DAG实时计算框架 • 通用，少开发 – HTable存储抽象及通用实现 –通用数据结构抽象 –通用处理逻辑抽象 • 易维护 – Metric、Trace、通用工具集 • 松耦合，可扩展 11 DAG实时计算框架 • 数据接入 – Container ，比如IStreamContainer通过Input Format读取输入 数据（含数据源信息） • DAG处理链 – 针对数据源配置所有处理节点（Executor ） – Executor间通过输入输出依赖 自动形成内存DAG ，允许并行执行 • 多线程并发 – 每个处理线程有一个独立的DAG实例 – 线程内置一个FIFO BlockingQueue作为实时输入数据buffer – 异步实时获取buffer中的最新一批数据驱动DAG执行 • 线程数据分发 – Round Robin – Field Dispatching 12 数据源及DAG处理链 多线程及分发机制 14 Pora业务层工作 • 配置和实现各个业务Executor – 解析输入实时消息 – 关联查询相关用户、商品数据，并加工处理 – 调用算法插件 – 更新用户、商品数据及在线系