基于跨模态分布差异最小化的无监督域适应语义分割方法研究综述.docVIP

基于跨模态分布差异最小化的无监督域适应语义分割方法研究综述

一、研究背景与问题提出

语义分割作为计算机视觉领域的核心任务之一，旨在为图像中每个像素分配预定义的类别标签，是自动驾驶、医疗影像分析、遥感图像解译等场景的关键支撑技术。传统全监督语义分割方法依赖大规模标注数据训练模型，然而在实际应用场景中，数据标注成本高昂且耗时，尤其在医疗、遥感等专业领域，标注需要领域专家参与，进一步限制了全监督方法的落地范围。无监督域适应（UnsupervisedDomainAdaptation,UDA）语义分割通过将源域（有标注数据）学习到的知识迁移到目标域（无标注数据），能够有效缓解跨域数据分布差异带来的性能下降问题，成为近年来的研究热点。

在多模态数据广泛应用的背景下，跨模态无监督域适应语义分割任务逐渐受到关注。该任务中，源域与目标域数据通常来自不同模态，例如源域为RGB图像，目标域为红外、深度、SAR图像等，模态固有特性导致跨域分布差异远大于同模态场景，传统同模态域适应方法难以直接有效对齐分布。跨模态分布差异主要体现在两个层面：一是低层级视觉特征差异，如不同模态的灰度分布、纹理结构、边缘信息存在显著区别，例如红外图像反映物体热辐射特征，边缘模糊且纹理信息少，与RGB图像的视觉特征差异巨大；二是高层级语义分布差异，不同模态下同一类别的语义表征空间存在偏移，导致源域训练的分类器在目标域上泛化性