通过交互式提示实现高效多模态融合.pdfVIP

通过交互式提示实现高效的多模态融合

1全睿杰222

yaowei.li@uts.edu.au,{quanruijie,zhulinchao,

12

yangyics}@zju.edu.cnReLER,AAII,悉尼科技大学CCAI,

3浙江大学

2

0

2

r

p

A大规模预训练已经将计算机视觉和自然语言处理等

3单模态领域带入了一个新时代。随着这一趋势的发展，

1

多模态学习模型的规模不断增大，导致在下游任务中微

]调这些模型时需要迫切减少巨大的计算成本。在本文中，

V

C我们提出了一种高效且灵活的多模态融合方法，即

.PMF，专门用于融合单模态预训练的变压器模型。具

s

c体来说，我们首先介绍了一个模块化的多模态融合框架，

[

该框架具有高度的灵活性，并促进了不同模态之间的相

1互作用。此外，