差分多模态变压器-计算机科学-机器学习-语言模型-增强噪声信息检索.pdfVIP

差分多模态变压器

JerryLiTimothyOh

UniversityofCalifornia,RiversideUniversityofCalifornia,Riverside

jli793@toh012@

JosephHoangVardhitVeeramachaneni

UniversityofCalifornia,RiversideUniversityofCalifornia,Riverside

jhoan075@vveer003@

本Abstract

译

中小型语言模型因其高效性和日益增长的能力而获得了广泛欢迎。然而，引

入如视觉等额外模态可能会通过增加噪声加剧有限上下文窗口的挑战。最

1

v近的研究表明，Transformer注意力机制往往不恰当地关注不相关的上下文。

5在这项工作中，我们将原本为仅文本模型设计的差分注意力机制扩展到了

7

8文本-视觉模型PaliGemma。我们的目标是评估其减少噪声信息检索和降低

5幻觉的能力。为此，我们使用LoRA对PaliGemma3B模型进行了微调，并结

1.合了差分注意力机制，实验了不同的参数设置和配置。我们展示了差分注意

7力可以适应并整合到现有模型的微调中，以增强噪声信息检索和问答能力。

0

5

2

:1介绍

v

i

x

r近年来，大型语言模型在效率和多模态方面经历了极大增长。像[10][5][13]这样的模型展示

a

了其相较于更大模型而言，在相当紧凑的规模下具备卓越性能。然而，最近对这些模型背后

注意力机制的研究表明，注意力仍未得到充分利用[17][12]。一项工作，微分变换器[17]，

揭示了普通注意力容易受到文本输入噪声的影响。为解决这一问题，他们提出了一种新的注

意力类型，差异注意力，这种注意力在保持效率的同时展示了幻觉和信息检索的改进。

然而，这种注意力机制的多模态途径尚未被探索。多模态大型语言模型（MLLMs）展示出了

对文本以外模式的理解和整合能力，如图像、音频和视频等。这使得更全面的推理和上下文

理解成为可能，支持诸如图像字幕生成、视觉问答（VQA）和跨模态检索[9]等应用。此外，

这些MLLMs在保持多模态功能的同时变得更为高效且紧凑，具有较小的权重。同时，更多

的模式可能会引入更多噪声，在信息检索[8][16]等任务中分散模型注意力。

PaliGemma[2]是谷歌开源的一个3B参数文本图像多模态模型，它结合了Siglip视觉编码器

和Gemma文本解码器。Siglip编码器[18]使用视觉变压器（ViT）将图像处理成嵌入，并通

过一个多模态投影仪将其与文本标记投射到共享空间中。Gemma文本解码器以这些融合的

标记作为输入，生成具有图像描述、视觉问答（VQA）和多模态推理能力的文本输出。这种

架构使得PaliGemma能够实现高效的跨模态推理，并且参数数量相对较少，但代价是较大的

文本上下文长度。

37th