刘建刚-腾讯大数据实时资源弹性伸缩的前沿探索与实践.pdfVIP

刘建刚

腾讯大数据实时平台Flink引擎负责人

基于ApacheFlink打造Oceanus一站式实时计算解决方案，集实时应用的创建、调试、部署、运行、运维和监控为一

体，为实时应用提供全生命周期的服务，覆盖微信支付、腾讯视频、腾讯广告等集团所有业务。

整体规模

•机器核数：百万级别

•作业个数：上万级别

•流量峰值：十亿级别

应用场景

•实时报表

•特征生产

•湖仓一体

•数据同步

整体架构

目录

从零断流到智能自治的一体化架构

Flink介绍：以流计算为内核的新一代计算引擎，提供基于数据流的有状态计算。

相比storm（流计算开创者），flink有以下优势：

•保障数据exactly-once，通过localstate和基于Chandy-

Lamport算法的快照来保障数据的不丢不重。

•完善的Event-time机制，通过watermark解决了无限流的触

发、延迟等问题。

•低延迟、高吞吐，主要通过资源管理、网络优化等来实现。

Flink是有状态的long-running在线计算，具备以下特征：SLA要求高

1.时间维度上，作业流量呈潮汐规律变化，有上涨或者下降的趋势。在支付/直播等场景，稳定性要求至少

99.99%，重启断流、资源不足导致的

2.空间维度上，不同pod的负载不同，资源需求也不一样

failoverlag严重影响SLA。

成本压力大

在数据同步、实时报表等场景，按最大

值配置资源会导致严重浪费，业内资源

利用率普遍低于40%。

运维成本高

流式计算自身复杂性导致问题排查困

难，低延迟要求做到7×24