基于自回归的视觉生成模型研究综述.docVIP

基于自回归的视觉生成模型研究综述

自回归视觉生成模型的核心逻辑源于自然语言处理领域的序列建模思想，其核心假设是任意高维视觉信号均可拆解为有序的序列单元，通过学习单元间的条件概率分布实现逐元素的迭代生成。2016年PixelRNN的提出首次将自回归范式引入图像生成领域，该模型将2D图像像素按光栅扫描顺序排列，以循环神经网络逐点预测像素值，在MNIST数据集上取得了超过传统生成对抗网络的采样质量，由此奠定了自回归视觉生成的技术基础。相较于同期的GAN、VAE等生成范式，自回归模型的核心优势在于建模过程的显式可解释性：其通过最大化序列对数似然的训练目标无需对抗博弈，不存在模式崩溃问题，且生成过程的每一步概率输出均可追溯，为可控生成提供了天然的架构支撑。

早期自回归视觉生成模型的发展始终围绕效率与质量的平衡展开。PixelRNN依赖的循环神经网络存在固有串行计算缺陷，生成一张256×256分辨率的图像需要超过6万步迭代，单图生成时间长达数秒。为突破这一瓶颈，2017年提出的PixelCNN用堆叠的空洞卷积替代循环结构，通过掩码卷积操作保证生成过程中当前像素仅能获取上文信息，将训练阶段的并行计算效率提升了一个数量级，但推理阶段仍需按像素顺序逐点生成，速度瓶颈未得到根本解决。随后出现的PixelCNN++进一步引入离散逻辑混合似然与残差连接，在降低模型参数量的同时将ImageNet数据集上的F