DiffVC-OSD：一步扩散感知神经视频压缩框架.pdfVIP

DVC-OSD：一步扩散感知神经视频压缩框架

*

WenzhuoMaandZhenzhongChen

SchoolofRemoteSensingandInformationEngineering,WuhanUniversity

A

在这项工作中，我们首先提出了DiVC-OSD，这是一种基于一步扩散的感知神经视频压缩框架。与

传统的多步扩散方法不同，DiVC-OSD将重建的潜在表示直接输入到一个一步扩散模型中，通过由

时间上下文和潜在表示本身指导的单步扩散来增强感知质量。为了更好地利用时间依赖性，我们设计

了一个时间上下文适配器，该适配器将条件输入编码为多级特征，为去噪Unet提供更精细的指导。此

外，我们采用了端到端微调策略以提升整体压缩性能。广泛的实验表明，DiVC-OSD实现了最先进的

感知压缩性能，解码速度大约快20，并且比特率减少了86.92%，与相应的多步扩散方法相比。

点光学厚度1介绍强大生成能力，在单步扩散过程中即可实现高感知质量的

本重建。此外，为了更有效地将一步扩散模型整合到条件编

译神经视频压缩（NVC）进展迅速，在像素级失真度量方面码范式中，我们引入了一个时间上下文适配器（TCA），该

中超过了传统编解码器。然而，由于速率、失真和感知[1]之适配器从之前解码的帧和重建的潜在表示中提取时间上下

间的内在权衡，专注于失真的方法往往产生次优的感知质文，并将其编码为多级特征以精细指导去噪U-Net。最后，

1量。这导致了对感知NVC日益增长的兴趣，其强调率-感知我们采用了一种端到端微调策略，联合优化一步扩散模型

v

2权衡以生成更清晰、更详细且逼真的重构。虽然基于GAN和其他模块，以实现率失真感知权衡的最佳压缩性能。广

8的方法通过对抗训练增强细节，但它们仍受限于不稳定的泛的实验表明，DiVC-OSD在所有测试集上都达到了最

6训练动态。最近，在大规模图像文本数据集上预训练的扩先进的感知压缩性能，同时提供了86.92%的比特率降低和

7

0散模型已成为感知NVC的一个有前景的范式。比其多步扩散基础版本快20倍的解码速度。

.

8现有的基于扩散的NVC通常采用多步扩散模型，通过多

0点光学厚度2方法论

5个去噪步骤重建具有高感知质量的结果。Liuetal.[2]提出

22如图1所示，我们提出了一种基于一步扩散的感知神经视

了IVC，一个统一的多步扩散型NVC框架，支持在AI、

:

vLD和RA模式下进行细节丰富的重建。Maetal.[3]介绍频压缩框架，命名为DiVC-OSD。建立在DiVC[3]的基础

i

x了DiVC，它将基础扩散模型集成到条件编码范式中，利上，DiVC-OSD遵循条件编码范式，并利用StableDiusion

r

a用先前解码帧的上下文来指导高质量重建。尽管上述基于V2.1-base[4]作为其基础扩散模型。DiVC-OSD的整体流

多步扩散的NVC在感知质量方面表现出卓越潜力，但它程如下：运动模块（用绿色高亮显示）首先估计并编码当

们仍然存在三个主要局限性。首先，多步扩散模型通常从前帧x和先前解码的帧xˆ之间的