2026年-多模态大语言模型领域进展分享-AI应用.pptxVIP

多模态大语言模型领域进展分享

殷述康/博士在读

DataFunSummit#2024

D背景介绍

D多模态大语言模型介绍D多模态大语言模型演进

D团队相关工作介绍D未来展望

背景介绍

·大语言模型(LLM)是近几年来最火热的方向之一

·可以解决各种传统NLP任务，如文本分类、命名实体识别等·可以做更高级的任务

·作为聊天机器人，按照要求扮演某个角色(强大的指令遵循能力)

·做高阶的推理任务，如写代码、解数学问题等(强大的推理能力，CoT进一步增强)·然而LLM存在固有的限制

·无法处理多模态的输入，导致有些任务无法做或者很难做，如根据网站截图给出源代码、理解一张表情包的含义

·无法获取更多的多模态的世界知识，如名画、名人等

背景-LLM正走向多模态

·多模态大语言模型(MLLM)的兴起

·就在近两年，工业和学术界都在积极转向多模态模型，比如OpenAI的GPT-4V、GPT-4o谷歌的Gemini-Pro

8-9

雾OtterShikra

LLaVA

MiniGPT-4

◎

Qwen-VL

ASM

LISA

LLaVA-Med

MotionGPT

Emu

VideoChat

InstructBLIP

ImageBind-LLM