基于对偶学习的无监督图像到图像翻译结题报告.docVIP

基于对偶学习的无监督图像到图像翻译结题报告

一、研究背景与问题提出

在计算机视觉领域，图像到图像翻译是一项核心任务，旨在将源域图像转换为目标域图像，同时保留图像的核心语义信息。传统的监督式图像翻译方法依赖于大量成对的训练数据，即每一张源域图像都需要对应一张标注好的目标域图像。然而，在实际应用场景中，获取这样的成对数据往往面临诸多挑战：一方面，部分场景下成对数据的采集成本极高，例如医学影像跨模态翻译中，同一患者的不同模态影像（如CT与MRI）需要严格的时间同步和位置匹配；另一方面，某些领域甚至不存在天然的成对数据，例如将写实风格的自然风光图转换为梵高油画风格，不存在一一对应的“原图-风格图”配对。

无监督图像到图像翻译的提出，为解决这一难题提供了思路。该方法无需成对训练数据，仅利用源域和目标域的无标注图像即可完成模型训练。但早期的无监督图像翻译模型存在着生成图像质量低、模式崩溃（即模型只能生成有限种类的目标图像）、语义信息丢失等问题。如何在没有成对数据监督的情况下，保证翻译过程中语义信息的一致性，同时提升生成图像的真实性和多样性，成为了无监督图像翻译领域亟待解决的关键问题。

对偶学习（DualLearning）作为一种新兴的学习范式，其核心思想是利用两个任务之间的对偶关系，通过互相提供监督信号来提升模型性能。在机器翻译领域，对偶学习通过“源语言到目标语言翻译”与“目标语言到源语言翻