GPT-4-Turbo专题：多模态能力提升，应用生态加速-20231121-西南证券-51页.pdfVIP

目录

1技术原理：图像理解+视觉生成持续发展，助力多模态能力提升

1.1图像理解能力提升：三大视觉学习方法

1.2视觉生成：多模态内容理解和生成的闭环

2当前变化：GPT4-Turbo模型优化，GPTs生态加速繁荣

2.1GPT-4Turbo：多模态能力增强，使用成本降低

2.2GPTs：加入Agents战场，与开发者共享收益

2.3AssistantAPI：解决API开发者痛点，拓展OpenAI收入来源

3未来影响：算力存力亟需扩容，AI应用潜力无限，垂类数据或成关键

3.1算力存力端：流量激增+多模态生成拉大算力缺口，同时带动存力需求

3.2应用端：强化垂类属性满足长尾需求，数量有望实现快速增长

3.3数据端：专业数据或成关键，重视垂类数据留存及知识产权价值

2

1技术原理：图像理解+视觉生成持续发展，助力多模态能力提升

章节小结

标签监督CLIP

HiCLIP

语言-图像编辑STAIR

图像理解ImageBind

视频QA应用

技术原理对比学习

仅图像自监督非对比学习

遮盖图像建模

文本到图像（T2I）

视觉生成

基于文本的图像编辑

资料来源：西南证券

3

1.1图像理解能力提升：三大视觉学习方法

为打造视觉大模型，建立高效视觉预训练体系以提升图像理解能力至关重要，这影响到从图像整体

（如分类、图文检索、标注）到部分区域（如物体识别、短语定位）及到像素细节（如语义、实例

、全景分割）的各项任务。

通用视觉预训练方法主要可归纳为三大类。1）标签监督：此方法在每张图片都配有对应标签的数

据集上进行训练，如图像分类中，一张狗的照片会对应“狗”的标签，模型的核心任务是准确预测

此标签。2）语言-图像监督：利用完整的文本描述来引导模型学习，使模型能够深入挖掘图像内容

与文本语义间的关联。3）仅图像自监督：利用图像本身固有的结构和信息来学习有意义的表示，

而不依赖于显式的人工注释标签。

三大视觉学习方法

模型的目标是在给出图像既作为输入又作为监督信号

图片时正确预测标签语言监督利用图像完整的文本描

述之间关联来训练模型