原创力文档- 1、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。。
- 2、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 3、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
查看更多
多模态大语言模型领
域进展分享
殷述康/博士在读
DataFunSummit#2024
D背景介绍
D多模态大语言模型介绍
D多模态大语言模型演进
D团队相关工作介绍
D未来展望
背景介绍
背景-LLM正走向多模态
·大语言模型(LLM)是近几年来最火热的方向之一
·可以解决各种传统NLP任务，如文本分类、命名实体识别等
·可以做更高级的任务
·作为聊天机器人，按照要求扮演某个角色(强大的指令遵循能力)
·做高阶的推理任务，如写代码、解数学问题等(强大的推理能力，CoT进一步增强)
·然而LLM存在固有的限制
·无法处理多模态的输入，导致有些任务无法做或者很难做，如根据网站
截图给出源代码、理解一张表情包的含义
·无法获取更多的多模态的世界知识，如名画、名人等
背景-LLM正走向多模态
·多模态大语言模型(MLLM)的兴起
·就在近两年，工业和学术界都在积极转向多模态模型，比如OpenAI的
GPT-4V、GPT-4o谷歌的Gemini-Pro
PubliclyFuyu-8AoPTv*日SPHINXMoE-LLaVA◎Qwen-VL-Maxe
Available/UnavailableMobileVLMVaryMEGVIMonkeyTextMonkeyMobile-Agent
MM1
ImageBind-LLMDreamLLM1-3
MMICL●XcomposerNExT-GPT男2024◎Gemini
10-12
AnyMALx◎Woodpecker在短短的两年间，已有上百个模
Video-LLaMA23D-LLMGPT-4VQwen-VL
8-9Video-LLaVA型涌现，包括大企业的闭源模型
Kosmos-2
动点策划通过提供各行各业经典策划案例，策划思路，行业最新动态，旨在做好你的助手，为你正在谋划的事情提供框架思路或创作灵感。
文档评论（0）