腾讯基于 Flink 的实时流计算平台演进之路.docxVIP

腾讯基于 Flink 的实时流计算平台演进之路 首先，我们进入第一个议题。Flink 在腾讯正式被考虑替代 Storm 是在 2021 年。 17 年上半年，我们次要在调研 Flink 替换 Storm 的可行性、特性、功能能否能够满足我们的上线要求。在此之前，我们内部以 Storm 作为实时计算的基础框架也已经有几年的时间了，在使用的过程中也发觉了 Storm 的一些痛点，比如，没有内置形态的支持，没有供应完备的容错力量，没有内置的窗口 API，core API 无法供应 Exactly-once 的语义保证等等。 17 年下半年，我们从社区拉出当时最新的发布分支（1.3.2）作为我们内部的定制开发分支进行开发。作为一个试点，我们选择了内部一个流量较大的业务来进行替换，这个业务在我们内部是以 standalone 的模式部署的，所以我们最后也使用的是 Flink 的 standalone 部署模式。 18 年上半年，我们开头围绕 Flink 进行产品化，打造了一个全流程、一体化的实时流计算平台——Oceanus，来简化业务方构建实时应用的简单度并降低运维成本，这也基本明确了后续我们次要的运转模式是 Flink on YARN。 18 年下半年，我们的 Oceanus 平台已经有足够的力量来构建常见的流计算应用，我们部门内部的一些实时流计算业务也已经在平台上稳定运转，于是我们开头为腾讯云、腾讯其他事业群以及业务线供应流计算服务。同时，我们也将平台整合进我们的大数据套件，为外部私有云客户供应流计算服务。 19 年上半年，我们的次要目标是在 Oceanus 上沉淀并完善上层的场景化服务建设，比如供应在线机器学习、风控等场景化服务。另外，我们也在 Flink 批处理方向发力，利用 Flink 的计算力量来满足跨数据中心，跨数据源的联合分析需求。它可以做到：数据源 SQL 下推，避开集群带宽资源铺张；单 DC 内 CBO（基于代价优化），生成最优的执行方案；跨 DC CBO，依据 DC 负载和资源选择最佳 DC 执行计算，从而获得更好的资源利用和更快的查询功能。以上就是腾讯使用 Flink 的整个历程。 这幅图呈现了，Flink 目前在腾讯内部已经为一些我们耳熟能详的产品供应实时计算的服务。这些产品，包括微信、领取、财付通、腾讯云、QQ、空间、音乐、玩耍、K 歌等等。我们列举其中几个业务的使用案例，微信使用我们的平台来统计伴侣圈的实时扫瞄信息、小玩耍种子用户的 UV 计算、实时恶意流量分析推断、看一看的红点信息；领取用来计算商户买卖相关的统计；音乐用于实时点唱、抢手排行榜等等。 接下来我们来了解一下，目前 Flink 在腾讯使用的现状。目前我们 Oceanus 平台 YARN 集群的 vcore 总数目达到了 34 万，累计的峰值计算力量接近 2.1 亿 / 秒，日均处理消息规模近 20 万亿。到目前为止，腾讯内部除了广告的在线训练业务外，原先运转在 Storm 上的实时流计算业务都已逐渐迁移到 Flink 引擎上，而广告这块的业务估计也会在今年下半年迁移完成。 Oceanus 平台简介 接下来，我们进入其次个议题：简要引见一下我们的 Oceanus 平台。 首先，我们来看一下 Oceanus 平台的全体技术架构。我们内部定制版的 Flink 引擎，称之为 TDFLINK，它跟其他的一些大数据基础设备框架交互并协同支撑了我们上层的 Oceanus 平台，Oceanus 支持画布、SQL 以及 Jar 三种方式构建应用，为了便利业务方降低全体成本，我们还供应了配置、测试、部署等完整配套的功能，在平台之上我们供应了一些领域特定的场景化服务比如 ETL、监控、推举广告等。 下面我们来引见 Oceanus 的几个典型功能。首先这是某个用户的应用列表页。从列表中，我们可以看到应用的当前形态、类型、迭代的版本，它归属于哪个场景等信息。在操作栏，我们可以一键对应用进行启停、调试，查看它的目标信息等，除此之外我们还供应了很多便捷的操作，比如快速复制一个应用，他们都收纳在“更多”菜单按钮中。 这是我们的一个目标分钟级统计的画布应用详情页，我们为 ETL 类型的应用供应了一个通用的 transform 算子。它供应了很多功能细分的可插拔的便捷函数来简化常见的大事解析与提取的简单度。在图中，多种不同类型的目标经过 split 算子分流后将相同的目标进行归类，然后再对它们应用各自的统计规律，就像这里的窗口一样，基本上每个算子都是配置化的。像这品种型的应用我们通过拖拽、配置就可以轻松完成它的构建。 这幅图呈现了我们的目标详情页检查点的目标明细，为了让业务人员更直观地了解它们最关怀的目标信息，我们将一些必要的目标进行了重新梳理并呈现到我们的平台上，这里有些目标直