原创力文档- 1、本文档共57页，可阅读全部内容。
- 2、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。
- 3、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
多模态文档大模型
mPLUG-DocOwl
徐海洋阿里巴巴通义实验室
演讲嘉宾
徐海洋
阿里巴巴通义实验室-高级算法专家
负责通义多模态大模型mPLUG系列工作，包括基础多模态模型mPLUG/mPLUG-2，多模态对话大模型mPLUG-Owl，多模态文档大模型mPLUG-DocOwl，多模态智能体Mobile-Agent等，其中mPLUG工作在VQA榜单首超人类的成绩。在国际顶级期刊和会议ICML/CVPR/ICCV/ACL/EMNLP/MM/TOIS/IJCAI/AAAI等发表论文40多篇，并担任多个顶级和会议AC/PC/Reviewer。主导参与开源项目
mPLUG，X-PLUG，AliceMind，DELTA。
目录
CONTENTS
1.多模态文档大模型背景
2.mPLUG-DocOwl系列工作
3.mPLUG-DocOwl开源实战
4.总结与展望
PART01
多模态文档大模型背景
多模态文档大模型背景
富含文字的图片（简称“文档图片”）
在生活中无处不在！
多模态文档大模型背景
RevolutionizingDocumentAIwithMultimodalDocumentFoundationModels
多模态文档大模型背景
一个通用的多模态大模型应该具备文档图片理解的能力，例如GPT4V
多模态文档大模型背景
多模态大模型模型（MLLM）主要关注于一般图片的对话和问答
LLaVA
LLaVA
InstructBLIP
多模态文档大模型背景
由于预训练中存在富含文字的图片，他们也初显一定的图片文字理解能力
MLLM具备实现通用文档图片理解的潜力
多模态文档大模型挑战
PART01
多模态文档大模型背景
mPLUG-DocOwl
mPLUG-DocOwl
?模型结构
每个子图在原图中第几行第几列
形状适应的切图模块
1.Grids={1×1,1×2,…1×20,
2×1,2×1,…,2×10,
…
20×1}
2.同时考虑形状和??进?grid选择）
mPLUG-DocOwl
?模型训练:训练任务
mPLUG-DocOwl
?模型训练:训练任务
mPLUG-DocOwl
?模型训练:训练数据
mPLUG-DocOwl
?实验结果
mPLUG-DocOwl1.5
mPLUG-DocOwl1.5
mPLUG-DocOwl1.5
mPLUG-DocOwl1.5
mPLUG-DocOwl1.5
mPLUG-DocOwl1.5
mPLUG-DocOwl1.5
?模型训练
mPLUG-DocOwl1.5
?模型训练
mPLUG-DocOwl1.5
?模型训练
mPLUG-DocOwl1.5
mPLUG-DocOwl1.5
mPLUG-DocOwl1.5
mPLUG-DocOwl1.5
mPLUG-DocOwl1.5
文档评论（0）