虎牙（郑健彦）：智能弹性在虎牙降本增效上的探索与实践.docx

TOP110010010n100T主办方msup

nn10n10010010n10010n10n 10010n10n智能弹性nn100On0在虎牙降本增效上的探索与实践nn 10010n郑健彦虎牙AIOpsleader10nTnnn010n10n10010010010n10n

100100100100100100100100

mstp

讲师简介

2017年华南理工大学硕士毕业后，加入联想数据中心部门负责故障预测等工作。

2019年加入虎牙直播，在质量，效率和成本三个方面落地AIOps。涉及异常检测，多维度根因定位，时序预测，智能弹性和大数据算力调度等相关工作。

郑健彦

HUYA基础保障部

AIOpsleader

TOP1

TOP1

mstp

目录

-亮点介绍案例背景

-基于AI预测的日常弹性

-业务容量模型

基于容量模型的赛事弹性边缘算力智能弹性

TOP1

TOP1

mstp

亮点介绍

·什么是智能弹性Al-HPA?

●科学计算一年流量最高的时刻需要准备的算力资源

●保证在线服务在7*24h下不过载

·一键对所有服务预扩容到所需的容量

TOP1

TOP1

·在直播场景下，流量呈单峰结构

资源使用量

mstp

·赛事(游戏直播界的双十一)期间质量抖动

2021-04-1820:46:00

2021-04-1820:46:00

一总CPU使用率：

22:0000:00

00.000%

99.800%

99.600%

99.400%

99.200%

14:0016:0018:0020:0022:0000:00

2021-04-1820:45:00

成功率：99.330%

20:00

18:00

14:00

16:00

TOP1

TOP1

mstp

Kubernetes中应用实例数设置的三种策略

固定实例数·

固定实例数

·为应用负载设定固定的Pod数量

·缺点：业务存在波峰浪谷，固定实例数会造成较大的资源浪费

定时弹性(CronHPA)

·设定定时规则，在固定时间进行实例数伸缩

缺点：设定定时规则较为复杂，定时间隔不能太短，会造成资源浪费

自动弹性(HPA)

·根据应用实时负载设置实例数量

◆缺点：弹性滞后，导致业务部分流量响应慢或者超时

利用率低

利用率低

周期偏移适应差配置繁琐

健壮性差配置复杂

TOP1

TOP1

mstp

基于Al预测的日常弹性

(AI-HPA的常规模式)

TOP1

TOP1

mstp

核心实践1-基于AI预测的日常弹性

为什么需要预测?

·标准的HPA是基于指标阈值进行伸缩的，常见的指标主要是CPU、内存。

·但是基于指标的伸缩存在一定的时延，这个时延主要包含：采集时延+上报时延+伸缩时延。

·当负载的峰值毛刺非常尖锐时，可能会由于HPA的时延造成副本数目无法及时变化，短时间内应用的整体负载飙高，响应时间变慢。

资源调度

启动耗时长

启动耗时长

拉镜像

9/2100.009/2112009/2200.009/2212009/2300009/2312.009/2400.009/2412009/2500.009/2512.009/260容器创建

容器启动

应用启动

10nTOP1