匡锡斌-B站稿件生产架构演进：从单体到微服务的挑战与实践.pdf

演讲人：匡锡斌

目录

01微服务化演进

02多活与弹性混合云

03总结与展望

微服务化演进

你感兴趣的视频都在站

1亿日活3亿月活

日均使用时长增长至99分钟

数十亿海量视频内容

日均视频播放量超48亿次

既然有消费当然就需要生产，稿件生产是B站的核心功

能之一，后端系统伴随业务发展也在不断地进行着微服

务演进。

•要做一个社区

•要支持UP视频投稿

•要批量投稿

•一个稿件多个视频

•多人联合投稿

•互动视频

•PUGC投稿

•轻剪辑/专业剪辑/一键投稿

•换源编辑

•知识付费，课堂稿件

•商业化，带货稿件、广告视频、充电视频

•...

业务模式在迭代，音视频流媒体能力在发展，体验要求

在不断提高。

创作工具

发布上传

稿件生产

数据开放

独立

完备

内聚自治

横向，站在服务视角看角色定位

纵向，站在业务权责视角看边界

与面向C端用户的高读场景（feed流、进房、视频详情/商详页）、高写场景（抢单、刷礼物、发弹幕）

不太一样的技术架构体系。

两种数据

1.业务数据（稿件元信息、视频元信息）

2.视频文件（存储、计算、传输）

成本

网络资源物理硬件

稳定效能

存储资源云上资源

计算资源调度策略寻求成本vs稳定vs效能不可得三角的解法

稿件是生产过程中的逻辑实体，视频是生产

过程中的物理对象，一个稿件对应多个视频。

Tip:越是底层的数据模型，改动成本越大。

生产流程的输入输出是围绕稿件业

务实体展开的一系列标准环节。

类比到制造业的生产过程，非常类

似制造业的MES系统

（ManufacturingExecution

System）。

-在生产过程中执行操作、捕获数据、

追踪流程、记录状态

多个业务都有“生产加工”的诉求，

需要这样一套工作流，串联不同的原

子能力，要求生产流程可被调度、异

步化。

由业务共性抽象一套

，支持业务编排、在线

处理流程、离线处理流程、流程检索。

Tip:定制化需求vs平台化能力

CQRS将生产消费关注点分离、权责分离，

让架构与组织形态相匹配。

Tips:

表字段共享，数据模型有交集但不匹配

消息驱动模式中不要暴露元数据binlog

CQRS模式数据异步传输，数据一致性问题

消息丢失•可回溯，可对账，最终一致性

•partition有序，不依赖绝对有序，消息顺序标识

消息乱序

seq

一站式异步事件治理平台

消息堆积•异常突增，lag感知，水平垂直扩容，分组并发，Railgun

IO聚合，热点隔离

MQ故障•异步消费兜底转同步Notify

下钻生产效率指标，将大盘指标转化为归一化的单位指标：

这个公式可以理解为：每一秒可以生产X秒的视频内容，我们希望通过各种技术手段优化这个

效率越高越好（但是会有体验上的权衡），直至前资源能做到的边际效应边界。

Total(Duration)=sum(A+B+C+...)

-Duration下钻：品类/时长/清晰度/活动

Total(Cost)=sum(CostX+CostY+CostZ+