原创力文档- 1、本文档共84页，可阅读全部内容。
- 2、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。
- 3、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
多模态大语言模型领域进展分享
殷述康/博士在读
DataFunSummit#2024
D背景介绍
D多模态大语言模型介绍D多模态大语言模型演进
D团队相关工作介绍D未来展望
背景介绍
背景-LLM正走向多模态
·大语言模型(LLM)是近几年来最火热的方向之一
·可以解决各种传统NLP任务，如文本分类、命名实体识别等·可以做更高级的任务
·作为聊天机器人，按照要求扮演某个角色(强大的指令遵循能力)
·做高阶的推理任务，如写代码、解数学问题等(强大的推理能力，CoT进一步增强)·然而LLM存在固有的限制
·无法处理多模态的输入，导致有些任务无法做或者很难做，如根据网站截图给出源代码、理解一张表情包的含义
·无法获取更多的多模态的世界知识，如名画、名人等
背景-LLM正走向多模态
·多模态大语言模型(MLLM)的兴起
·就在近两年，工业和学术界都在积极转向多模态模型，比如OpenAI的GPT-4V、GPT-4o谷歌的Gemini-Pro
Publicly
Available/Unavailable
Fuyu-8BAoPT
MobileVLM
v*日
VaryMEGVI
SPHINXMonkey
MoE-LLaVATextMonkey
◎Qwen-VL-MaxeMobile-Agent
ImageBind-LLMDreamLLM
MMICL●XcomposerNExT-GPT
AnyMAL
Video-LLaMA23D-LLM
Kosmos-2Lynx川GPT4RoI
PengiChameleon
ODetGPTVisionLLM
O
LaVINMultiModal-GPT
PaLM-E(LLaMA-Adapter
Kosmos-1
VIMAFlamingo◎
1-3
男
x
6-7
4-5
MM1
1-3
◎2024
◎
10-12
8-9
雾OtterShikra
LLaVA
MiniGPT-4
◎
GPT-4VPointLLM
GPT-4V
PointLLMVisCPM
O黑
O
黑
LISA
◎LLaVA-MedMotionGPT
◎
AAEmu
AA
VideoChat
◎1
◎1
Gemini
Woodpecker
Video-LLaVA
LLaMA-VID
LanguageBIND
LLaVA-1.5CogVLM
Ferret
GLaMM
在短短的两年间，已有上百个模型涌现，包括大企业的闭源模型和学术社区的开源模型探索。
BLIP-2HuggingGPTLTUEmbodiedGPT
2023
2022MM-REACT电ViperGPTGPT4ToolsamPLUG-Owl
Yin,Shukang,etal.Asurveyonmultimodallargelanguagemodels.arXiv:2306.13549
背景-MLLM能做些什么
·能做传统视觉/多模态任务
Prompt:Count
Prompt:
Countthenumberofpeopleintheimage.
GPT-4V:
Thereare4peopleintheimage.
Prompt:
描述這張圖片
GPT-4V:
這張圖片是一隻小猫在草地上走路的畫面。小猫是橘色的，有蓝色的眼睛，看起來很可爱。它的身體很小，四肢畿細,正在小心翼翼地在草地上行
走。
Caption任务计数任务
CitedfromarXiv:2309.17421
Prompt:
Prompt:
Localizeeach
文档评论（0）