基于神经编解码器的低延迟视频会议系统设计与主观质量优化.docxVIP

PAGE2

基于神经编解码器的低延迟视频会议系统设计与主观质量优化

摘要

随着远程办公与在线教育的普及，视频会议系统对实时性、带宽适应性和视觉体验的要求日益严苛。现有方案多依赖传统混合编码框架，在低码率下易出现块效应与模糊，且端到端延迟难以满足沉浸式交互需求。本课题以“主观质量优先、低延迟可控”为核心理念，设计并实现了一套基于神经编解码器的新型视频会议系统。系统采用端到端学习的图像压缩模型作为编码核心，结合条件熵编码与轻量级网络结构，在保证高压缩效率的同时显著提升纹理细节与自然度。整体架构遵循“采集–编码–传输–解码–渲染”流水线，并引入自适应码率控制与丢包恢复机制，以适配动态网络条件。

论文首先分析视频会议场景的实时传输痛点与主观质量评价特性，明确低延迟与感知保真度的双重需求。随后，在相关技术章节中对比传统编解码器与神经编解码器的优劣势，论证了以变分自编码器为基础、结合流式上下文模型的选型依据。需求分析阶段详细定义了发送端、接收端及信令服务三类角色，并细化出分辨率自适应、延迟≤150ms、主观质量MOS≥4.0等核心指标。总体设计采用分层架构，包括采集层、编码层、传输层、解码层与渲染层，各模块间通过定义良好的接口协同。详细设计部分重点阐述了神经编码器网络的轻量化裁剪、帧内条件编码算法以及丢包隐藏策略，并给出关键流程与伪代码。

系统实现基于PyTorch与WebRTC框架，在