基于Transformer低级视觉图像高效预训练研究.pdfVIP

论基于Transformer的低级视觉图像高效预训

练

李⋆、⋆、1,、3,、2,和1

123

中文大学

思谋科技

{wenboli,sjqian,leojia}@.hk{lun,zhangangyu}@

jiangbo@

.

预训练技术已在高级计算机视觉领域创下多项标杆性能，但关于预

训练在图像处理系统中的影响机制却鲜有研究。本文针对低级视觉任务定

制了基于Transformer的预训练方案，并设计了一套完整的评估工具以

系统分析预训练对表征的影响。实验表明：预训练在不同低级任务中

作用差异显著——例如在超分辨率任务中，预训练为网络注入更多局

部信息从而带来显著性能提升；而在去噪任务中，预训练几乎不改变

特征表征，导致增益有限。进一步研究表明，多相关任务联合预训练相比

其他方案更具效果与数据效率。我们还探索了不同数据规模、模型尺寸下

的表现，并对比了T