原创力文档- 1、本文档共42页，可阅读全部内容。
- 2、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。
- 3、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
多模态大语言模型领
多模态大语言模型领
域进展分享
域进展分享
殷述康/博士在读
殷述康/博士在读
DataFunSummit#2024
DataFunSummit#2024
4
D背景介绍
背景介绍
多模态大语言模型介绍
D多模态大语言模型介绍
D多模态大语言模型演进
多模态大语言模型演进
D团队相关工作介绍
团队相关工作介绍
D未来展望
未来展望
01
背景介绍
背景介绍
背景-LLM正走向多模态
背景-LLM正走向多模态
•大语言模型(LLM)是近几年来最火热的方向之一
·大语言模型(LLM)是近几年来最火热的方向之一
•可以解决各种传统NLP任务，如文本分类、命名实体识别等
·可以解决各种传统NLP任务，如文本分类、命名实体识别等
•可以做更高级的任务
·可以做更高级的任务
•作为聊天机器人，按照要求扮演某个角色(强大的指令遵循能力)
·作为聊天机器人，按照要求扮演某个角色(强大的指令遵循能力)
•做高阶的推理任务，如写代码、解数学问题等(强大的推理能力,CoT进一步增强)
·做高阶的推理任务，如写代码、解数学问题等(强大的推理能力，CoT进一步增强)
•然而LLM存在固有的限制
·然而LLM存在固有的限制
•无法处理多模态的输入，导致有些任务无法做或者很难做，如根据网站
·无法处理多模态的输入，导致有些任务无法做或者很难做，如根据网站
截图给出源代码、理解一张表情包的含义
截图给出源代码、理解一张表情包的含义
•无法获取更多的多模态的世界知识，如名画、名人等
·无法获取更多的多模态的世界知识，如名画、名人等
背景-LLM正走向多模态
背景-LLM正走向多模态
•多模态大语言模型(MLLM)的兴起
·多模态大语言模型(MLLM)的兴起
•就在近两年，工业和学术界都在积极转向多模态模型，比如OpenAI的
●就在近两年，工业和学术界都在积极转向多模态模型，比如OpenAI的
GPT-4V、GPT-4o谷歌的Gemini-Pro
GPT-4V、GPT-4o谷歌的Gemini-Pro
SPHINXMoE-LLaVAOQwen-VL-Maxa
PubliclyFuyu-8Bv曰
MobileVLMVaryMEFVI
Available/UnavailableMobile-Agent
MonkeyTextMonkey
MM1
ImageBind-LLMDreamLLM国1-3
MMICL◎XcomposerNExT-GPT罗2024
10-12◎Gemini
AnyMAL0在短短的两年间，已有上百个模
◎在短短的两年间，已有上百个模
Woodpecker
⑤GPT-4V
3D-LLMa
Video-LLaMAaQwen-VL型涌现，包括大企业的闭源模型
型涌现，包括大企业的闭源模型
8
文档评论（0）