基于双编码器的图像描述生成中的视觉-语言特征融合与语义一致性研究综述.docVIP

基于双编码器的图像描述生成中的视觉-语言特征融合与语义一致性研究综述

一、双编码器架构的技术演进与核心逻辑

图像描述生成任务的核心目标是将视觉信号转化为符合人类表达习惯的自然语言文本，其技术发展始终围绕视觉信息与语言信息的高效适配展开。早期图像描述模型多采用单视觉编码器加语言解码器的端到端架构，这类架构将全局图像特征直接输入解码器生成文本，虽实现了基础功能，但普遍存在细粒度视觉信息丢失、实体关系表述错误等问题。2017年Transformer架构提出后，双编码器架构逐渐成为主流解决方案：视觉编码器负责提取图像的层级化特征，语言编码器（或文本特征提取模块）负责建模语义规则与先验知识，二者通过特定的交互机制实现跨模态特征对齐，为后续解码器生成精准描述提供基础。

当前主流的双编码器架构可分为三类：第一类是并行双编码器架构，视觉编码器与语言编码器独立工作，分别处理图像输入和待生成文本的前缀序列，在解码阶段通过跨注意力机制实现特征交互。这类架构的典型代表是基于CLIP预训练模型的衍生系统，CLIP通过大规模图文对预训练获得了强大的跨模态表征能力，其视觉分支与文本分支的特征空间天然具备对齐属性，研究者可直接将两个分支的输出作为解码器的输入，大幅降低了跨模态融合的难度。第二类是递进式双编码器架构，视觉编码器先提取图像的全局、局部特征并构建视觉实体关系图，语言编码器则基于视觉实体的类别标签、关系属