多模态大模型学习包：从CLIP到IP2架构与技术.pdfVIP

输请

入在请在此处

文此二维

字处码

基础

什么是多模态？

什么是对齐？

迁移学习和zore-shot

CLIP

总体架构

clip的思想是通过海量的弱监督文本对通过对比学习，将和文本通过各自的预训练模型获得的

编码向量在向量空间上对齐。

BLIP

总体架构

BLIP一大贡献在于将自然语言理解和自然语言生成任务进行了融合形成了多模态通用模型。

BLIP

数据处理

BLIP另一大贡献在于弱监督图文数据方面，通过训练模型剔除了图文匹配度差以及对部分生

成了更好的文本标注。

BLIP

数据样本

BLIP另一大贡献在于弱监督图文数据方面，通过训练模型剔除了图文匹配度差以及对部分生

成了更好的文本标注。

BLIP

2

总体架构

BLIP2分为两个阶段进行训练，阶段一获得高质量的图文对齐向量表征，阶段二通过向量表征进行文

字生成

BLIP

2

阶段1

blip2在第一阶段通过ITC,ITM,IGT三个损失函数获得了很好的文本对齐向量表征能力，重要的仅

训练Qformer中很少的参数。

BLIP

2

阶段2

第二阶段将Qformer进行对齐后的表征向量基映射到大语言模型中，使模型获得信息，并进行指

令微调。

BLIP

2

图文问答

blip2可以很好的理解图像，但是由于结构，对于部分细节把握。

国产