多模态大模型跨模态对齐机制与泛化能力边界.docxVIP

多模态大模型跨模态对齐机制与泛化能力边界

目录

内容简述概述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

1.1文献综述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

1.2研究背景与动机．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．8

1.3研究目的与方法．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．10

多模态学习基础．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．12

2.1多模态数据特性分析．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．12

2.2多模态学习模型概述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．14

2.3跨模态对齐技术现状．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．17

跨模态对齐机制研究．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．22

3.1跨模态对齐的任务分类．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．22

3.2对齐网络架构设计．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．24