（42页PPT）多模态大语言模型领域进展分享.pptxVIP

多模态大语言模型领域进展分享

殷在读

DataFunSummit#2024;

D背景介绍

D多模态大语言模型介绍D多模态大语言模型演进

D团队相关工作介绍D未来展望;

背景介绍;

·大语言模型(LLM)是近几年来最火热的方向之一

·可以解决各种传统NLP任务，如文本分类、命名实体识别等·可以做更高级的任务

·作为聊天机器人，按照要求扮演某个角色(强大的指令遵循能力)

·做高阶的推理任务，如写代码、解数学问题等(强大的推理能力，CoT进一步增强)·然而LLM存在固有的限制

·无法处理多模态的输入，导致有些任务无法做或者很难做，如根据网站截图给出源代码、理解一包的含义

·无法获取更多的多模态的世界知识，如名画、名人等;

·多模态大语言模型(MLLM)的兴起

·就在近两年，工业和学术界都在积极转向多模态模型，比如OpenAI的GPT-4V、GPT-4o谷歌的Gemini-Pro;

Prompt:

Localizeeachpersonintheimageusingboundingbox.Theimagesizeis(width,height)=(998,786)

GPT-4V:

Thereisonlyonepersonintheimage,sotheboundingboxforthispersonwouldbe:

-Topleft:(254,118)

-Bottomright:(731,693)

Explanation:Thetopleftpointoftheboundingboxisat(x,y)=(254,118),whichisthetopleftcornerofthepersonintheimage.Thebottomrightpointofthe

boundingboxisat(x,y)=(731,693),whichisthebottomrightcornerofthepersonintheimage.Thisboundingboxepassestheentirepersonintheimage.

VisualizationofDetectedBbox:;

ChartUnderstandingandReasoning

Prompt:

WhatistheaveragetotalfuelingcostexcludingtheFordF150?

S13096

S82.56

s70.55

Toyota

RAV4

(RegularCab)

Totalfuelingcost

GPT-4V:

TofindtheaveragetotalfuelingcostexcludingtheFordF150,weneedtoaddthetotalfuelingcostsoftheToyotaRAV4andHondaCivicanddivideby2(sincethereare2vehiclesinthecalculation).

(82.56+70.55)÷2=76.55

Therefore,theaveragetotalfuelingcostexcludingtheFordF150is$76.55.;

多模态大语言模型介绍;

介绍-MLLM的基本方面

·由于大企业的模型是闭源的，学术界正积极研究探索开源的模型。;

·常用的架构一般包含三个部分：

·编码器Image·连接器

Audio

·大语言??型

Video;

·视觉编码器

·常用的是基于CLIP预训练的ViT

·对于常见的224x224分辨率图片，patch大小为14,最后共得到14x14=256个tokens;

介绍-MLLM的架构

·连接器

·MLP结构

·不改变视觉token的数量，使用线性层或者多层感知机做投影。

Q-Former

·压缩图片token至固定的数量，提高运算效率

·Q指query,使用一组可学习的query向量从视觉token中抽取更紧凑的表征信息;

·第一阶段：模态对齐训练

Stage-1:Pre-training

·将视觉的语义空间与文本空间对