大规模多模态模型中视觉语言特征对齐机制与技术演进综述.docxVIP

大规模多模态模型中视觉语言特征对齐机制与技术演进综述

目录

一、视觉语言表征与对齐技术的演进历程．．．．．．．．．．．．．．．．．．．．．．．2

1.1感知层面的初步探索．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

1.2表示迁移．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．3

1.3架构变革．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．4

1.4超大规模模型时代．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．7

二、视觉语言联合表征学习的关键技术．．．．．．．．．．．．．．．．．．．．．．．．．9

2.1模态转换与映射建立．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．9

2.1.1生成式模型在特征转换中的应用．．．．．．．．．．．．．．．．．．．．．．．．13

2.1.2对齐目标函数设计．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．15

2.1.3多模态信息瓶颈与熵最小化技术．．．．．．．．．．．．．．．．．．．．．．．．17

2.2描述器提升．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．18

2.2.1细粒度