流体：通过标记蒸馏实现多模态学习中专家专长的流 动-潜在统一集成模型.pdfVIP

流体：通过标记蒸馏实现多模态学习中专家专长的流

动-潜在统一集成模型

VanDucCuong[0009-0008-6700-1477],TaDinh

Tam[0009-0007-6567-4304],TranDucChinh[0009-0002-8078-6519],and

NguyenThiHanh[0009-0006-7929-3329]

HanoiUniversityofScienceandTechnology,Hanoi,Vietnam

FacultyofInterdisciplinaryDigitalTechnology,PHENIKAAUniversity,Hanoi,

Vietnam;

本CorrespondingauthoratPHENIKAAUniversity,Hanoi,Vietnam

{cuong.vd220021,tam.td2400071,chinh.td224936}@.vn,

译hanh.nguyenthi@.vn

中

1

v摘要多模态分类需要稳健地整合视觉和文本信号，然而常见的融合策略

4

6却脆弱且容易受到特定模式噪声的影响。在本文中，我们提出了通过标记

2蒸馏进行专家专长的流体-Flow-Latent统一集成，这是一个原则性的标记

7

0级管道，可以提高跨模态鲁棒性和可扩展性。流体贡献了三个核心元素：

8.（1）Q变换，可学习的查询标记，从特定模式的主干中提炼和保留突出的

0标记级特征；（2）一个两阶段融合方案，通过对比对齐强制执行跨模态一

5致性，然后通过门控机制和一个选择性压缩信息供下游推理的Q-瓶颈进

2

:行自适应的任务感知融合；以及（3）一种轻量级、负载均衡的专家混合，

v

i在预测时能够有效地专门化处理各种语义模式。广泛的实验表明，流体在

xGLAMI-1M基准上达到了%的准确率，显著优于先前的基线，并且表

r

a现出对标签噪声、长尾类别不平衡和语义异质性的强大韧性。有针对性的

消融研究验证了所提出的组件的个别以及协同效益，将流体定位为多模态

产品分类的可扩展、抗噪解决方案。

Keywords:视觉-语言模型·模态融合·门控机制·专家混合。

1介绍

在当今的数字环境中，理解多模态数据（如图像和文本描述）对于内容

审核、推荐系统和媒体组织等应用至关重要。然而，对这类数据进行分类本

质上是非常困难的，尤其是在输入不一致或不完整[1,2]的情况下。

2Cuongetal.

传统的单模态模型，仅处理单一类型的数据——如文本描述或视觉内

容，在输入中缺乏必要的上下文线索时往往表现不佳。例如，没有伴随文字

的图像可能缺乏语义清晰度，而单独的文字可能会遗漏关键的视觉属性[3]。

为了缓解这一问题，多模态模型应运