CN120151495B 基于多智体强化学习的vr视频自适应码率控制方法 （浙江工业大学）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN120151495B(45)授权公告日2025.07.11

(21)申请号202510451910.X

(22)申请日2025.04.11

(65)同一申请的已公布的文献号申请公布号CN120151495A

(43)申请公布日2025.06.13

(73)专利权人浙江工业大学

地址310000浙江省杭州市拱墅区朝晖六

区

(72)发明人黄亮李玉琪池凯凯张书彬

(74)专利代理机构杭州研基专利代理事务所(普通合伙)33389

专利代理师于森

(51)Int.CI.

HO4N13/194(2018.01)

HO4N21/647(2011.01)

(56)对比文件

CN117939192A,2024.04.26CN116962414A,2023.10.27

审查员陈博

权利要求书3页说明书16页附图1页

(54)发明名称

基于多智体强化学习的VR视频自适应码率控制方法

(57)摘要

CN120151495B本发明提供基于多智体强化学习的VR视频自适应码率控制方法，涉及VR技术领域，包括获取历史视频块传输数据预测带宽并评估网络稳定性，基于多层感知机结构的Actor网络输出码率选择概率分布，对视频块计算结构相似度和重缓冲指标构建综合奖励函数，利用多智能体联合状态向量获取局部观测信息并通过注意力权重整合群体信息，采用策略梯度方法和Adam优化器更新网络参数实现码率优化。本发明能够有效提升VR视频传输质量，降低重缓冲概率，保证用户

CN120151495B

获取历史视频块传输数据并采用预测带宽，构建网络延迟特征向量评估网络稳定性，基

获取历史视频块传输数据并采用预测带宽，构建网络延迟特征向量评估网络稳定性，基

制，结合视频流带宽份额动态调整，基于质量评分、切换影响及网络稳定性选择最优码

基于网络延迟特征向量构建包含缓冲区状态及视频质量状态的特征向量，将特征向量输

人多层感知机结构的Actor网络，通过ReLU激活函数和Softmax函数输出码率选择概率分布，基于视频质量、缓冲区状态及切换平滑度构建综合奖励函数，结合经验池批量采样确定

码率级别

对视频块计算结构相似度获取质量映射值，基于下载时间和缓冲区状态计算重缓冲指标，结合质量差异和时间衰减权重评估质量变化，采集视口位置信息计算平滑度和预测误差，依据视场角覆盖率和空间质量分布确定视频沉浸度，将指标构建综合奖励函数并归一化，基于折扣因子计算累积奖励并优化权重系数

构建多智能体联合状态向量获取局部观测信息，利用时序差分目标优化Critic网络的均方误差损失，结合策略梯度和熵正则更新Actor网络，采用同构智能体参数共享和异构智能体独立更新机制，通过注意力权重整合群体观测信息

在经验池中持续存储状态向量交互数据，利用多层感知机提取网络特征，基于特征向量构建自适应奖励函数，采用策略梯度方法和Adam优化器更新网络参数，根据体验质量差值调整奖励权重，从经验池采样持续优化码率选择策略

CN120151495B权利要求书1/3页

2

1.基于多智体强化学习的VR视频自适应码率控制方法，其特征在于，包括：

获取历史视频块传输数据并采用预测带宽，构建网络延迟特征向量评估网络稳定性，基于预测带宽和缓冲区状态建立码率切换影响模型，通过缓冲区状态转移方程进行阈值控制，结合视频流带宽份额动态调整，基于质量评分、切换影响及网络稳定性选择最优码率；

基于网络延迟特征向量构建包含缓冲区状态及视频质量状态的特征向量，将特征向量输入多层感知机结构的Actor网络，通过ReLU激活函数和Softmax函数输出码率选择概率分布，基于视频质量、缓冲区状态及切换平滑度构建综合奖励函数，结合经验池批量采样确定码率级别；

对视频块计算结构相似度获取质量映射值，基于下载时间和缓冲区状态计算重缓冲指标，结合质量差异和时间衰减权重评估质量变化，采集视口位置信息计算平滑度和预测误差，依据视场角覆盖率和空间质量分布确定视频沉浸度，将指标构建综合奖励函数并归一化，基于折扣因子计算累积奖励并优化权重系数；

构建多智能体联合状态向量获取局部观测信息，利用时序差分目标优化Critic网络的均方误差损失，结合策略梯度和熵正则更新Actor网络，采用同构智能体参数共享和异构智能体独立更新机制，通过注意力权重整合群体观测信息；

在经验池