结构化注意力对多模态大语言模型文档理解很重要-计算机科学-大语言模型-文档理解.pdf

下载文档

0
0
约4.71万字
约 10页
2025-07-17 发布于北京
举报
版权申诉
保障服务

结构化注意力对多模态大语言模型文档理解很重要-计算机科学-大语言模型-文档理解.pdf

1、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。。
2、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击这里二次下载。
3、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。

文档理解对于多模态大型语言模型（MLLMs）来说仍然是一个重要的挑战。虽然先前的研究主要集中在通过精确的多模态查询定位证据页面，但我们的工作调查了一个基本且被忽视的方面：输入格式如何影响文档理解性能。通过系统分析，我们发现原始OCR文本通常会损害而非提升MLLMs的表现，这是一个令人意外的结果，我们认为这是由于注意力分散和结构损失所导致。为了进一步验证我们的假设，我们提出了一种新的保持结构的方法，该方法使用LATEX范式编码文档元素，维持了对理解至关重要的

结构化注意力对

多模态大语言模型文档理解很重要

ChangLiu,HongkaiChen,YujunCai,HangWu,

QingwenYe,Ming-HsuanYang,YiweiWang

vivoMobileCommunicationCo.,Ltd,TheUniversityofQueensland,

UniversityofCalifornia,Merced,

changliu.hapo@,allenhkchen@

Fromthisreport,whichsubgroup

amongHispanicshasgainedmost

confidencefrom2008to2015?Task

Abstract.txt

本….png

文档理解对于多模态大型语言模型

译Existingmethods

（MLLMs）来说仍然是一个重要的挑战。Multimodal/Unimodal

中retrieval

虽然先前的研究主要集中在通过精确的多Contextwindow

1expansion

v模态查询定位证据页面，但我们的工作调evidences

0查了一个基本且被忽视的方面：输入格式Task-specificmodelMulti-granularity

understandi

您可能关注的文档

SYSTEMP-基于模板的 SYSML V2 多智能体系统生成框架-计算机科学-大语言模型-多智能体系统.pdf

文档评论（0）

zikele + 关注: 实名认证

内容提供者

该用户很懒，什么也没介绍

咨询Ta 进入空间

1亿VIP精品文档

更多 >

结构化注意力对多模态大语言模型文档理解很重要-计算机科学-大语言模型-文档理解.pdf