实时计算平台及相关业务实践.pdfVIP

实时计算平台及相关业务实践实时计算平台及相关业务实践 Baidu.inf.dc ChaiHua 大纲大纲 11. 我们现在的计算平台我们现在的计算平台 2. 我们平台我们平台上的的业务务 3. 我们将来要做的工作 大纲大纲 11. 我们现在的计算平台我们现在的计算平台 2. 我们平台我们平台上的的业务务 3. 我们将来要做的工作 实时计算平台实时计算平台11 • 支持毫秒级别至秒级别的计算延迟需求支持毫秒级别至秒级别的计算延迟需求 • 高可靠性，高可伸缩性，高可扩展性 • 支持支持DAGDAG描述的流式作业描述的流式作业 • 支持已在线运行作业DAG修改与升级 • Per-Record的计算模式与底层架构 •• StreamingStreaming模式支持多语言扩展模式支持多语言扩展 实时计算平台实时计算平台11 • 机群机群规模规模：：500500+ - • 机群QPS：10M -- 100M qps • 延迟保证延迟保证：9999.9%9% 5050ms- • 在线系统 • 统一平台服务众多（20+）业务方 实时计算平台实时计算平台22 • 支持十秒级别至分钟级别的计算延迟需求支持十秒级别至分钟级别的计算延迟需求 • 高可靠性，高可扩展性 • 支持支持DAGDAG描述的流式作业描述的流式作业/Q/Queue-WWorkker模型作业模型作业 • 具备Transaction属性，保证计算数据的不重不丢 • 基于增量/小批量的计算模式与底层架构 •• StreamingStreaming模式支持多语言模式支持多语言扩展扩展 实时计算平台实时计算平台22 • 机群规模机群规模：：500500+ - • 支持千级worker并发，百级业务流并发 • 多级多级MMaster架构设计架构设计 • 控制流与数据流分离 • 统一资源层 大纲大纲 11. 我们现在的计算平台我们现在的计算平台 2. 我们平台我们平台上的的业务务 3. 我们将来要做的工作 实时计算平台实时计算平台11 • 广告计算平台广告计算平台 – 主要需求： • 真正的实时需求真正的实时需求 ：：百毫秒级别的延迟指标百毫秒级别的延迟指标 • 灵活的拓扑变化：新增用户数据业务流，支持各种策略实验 • 高稳定性：跨机房故障时，优雅的服务降级 实时计算平台实时计算平台11 • 检索端更新数据流检索端更新数据流 – 主要需求： • 真正的在线需求真正的在线需求 ：：在线调整与升级在线调整与升级，，稳定稳定 • 灵活的拓扑变化：新增用户数据业务流，支持各种策略实验 • 数据流频繁调整：分流，备份 实时计算平台实时计算平台22 • 离线离线//在线云视频转码需求在线云视频转码需求 – 主要需求： • 视频分段并行转码视频分段并行转码；； • 潜在资源需求量大，短期无预算 – 上线规模线规模：worker并发数并发数k级别级别 – 业务收益：提升时效性，利用空闲资源 实时计算平台实时计算平台22 • 业务日志后端计算业务日志后端计算 – 主要需求： • 分析前端分析前端ServerServer 日志日志，，计算统计报表计算统计报表，，精确精确 • 计算步骤较多：流式join ，filter ，aggregation，入库 – 业务收益务收益：提升报表时效性提升报表时效性 （5hour+ - 30min- ）） 大纲大纲 11. 我们现在的计算平台我们现在的计算平台 2. 我们平台我们平台上的的业务务 3. 我们将来要做的工作 现在现在//将来的工作将来的工作 11. 业务推广业务推广 2. 统统一资源层资源层 3. 提升易用性 谢谢！