跨模态预训练模型技术演进与融合应用前瞻.docxVIP

跨模态预训练模型技术演进与融合应用前瞻

目录

一、文档简述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

1.1人工智能发展背景下的多维度信息处理需求．．．．．．．．．．．．．．．．．2

1.2从单一模态到跨模态．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．3

1.3跨模态预训练模型的核心概念界定．．．．．．．．．．．．．．．．．．．．．．．．．5

1.4本报告的研究范畴与主要内容概述．．．．．．．．．．．．．．．．．．．．．．．．．7

二、跨模态预训练模型技术发展脉络．．．．．．．．．．．．．．．．．．．．．．．．．10

2.1跨模态预训练的早期探索．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．10

2.2基础架构革新．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．12

2.3数据层面．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．16

2.4模型范式迭代．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．20

2.5映射机制．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．23

三、核心跨模态预训练模型技术详解