多智能体互动问题生成框架用于长文档理解-计算机科学-自动化数据标注-长文档理解-多代理互动框架-视觉问答.pdfVIP

2025IEEEINTERNATIONALWORKSHOPONMACHINELEARNINGFORSIGNALPROCESSING,AUG.31–SEP.3,2025,ISTANBUL,TURKEY

多智能体互动问题生成框架用于长文档理解

王可森,大莱特·托伊巴扎尔,艾卜杜拉赫曼·阿福利亚特,艾卜杜阿齐兹·S·阿尔巴达维,

阿斯玛·A·易布拉欣,汗尼恩·A·阿尔侯木德,谢里夫·穆罕默德,帕德罗·J

Humain,Riyadh,KSA

ABSTRACTAraEngLongBench

文档理解（DU）在长上下文场景和复杂布局中仍然是

视觉语言研究中的一个重要挑战。虽然大型视觉语言s

本n

模型（LVLMs）在短上下文DU任务上表现出色，但在keoMMLong

译T

长上下文设置下的性能会下降。一个关键限制是细粒t

中exPWC

1度训练数据的稀缺性，特别是对于像阿拉伯语这样的TeDUDESlideVQA

v低资源语言。现有的最先进的技术高度依赖于人工标ga

5注，这既昂贵又效率低下。我们提出了一种完全自动化ervDocVQA

4A

1的、多智能体互动框架来高效生成长上下文问题。我们ChartQA

0Camel

2的方法能够有效地为广泛的英文和阿拉伯文文档生成

.

7高质量的单页和多页问题，涵盖数百页内容并跨越多

0

5个领域。这有助于开发具有增强长上下文理解能力的AveragePageNumbers

2LVLMs。本工作的实验结果表明，我们生成的英语和

:

v阿拉伯语问题（阿拉英语长基准测试）对主要的开源Fig.1.平均页数与平均文本标记数量

i

x和闭源LVLMs来说都非常具有挑战性。本工作中提出

r

a的代码和数据可以在/wangk0b/[3]以及开源模型如InternLM-XC2-4KHD[4]、LLaVA-

Multi_Agentic_QA_Long_Doc.git中找到。示例问NeXT[5]和CogVLM[6]等领先模型，在处理多页文档

答（QA）对和结构化系统提示可以在附录中找到。时仍面临诸多挑战。尽管它们在短上下文基准测试如

IndexTerms—自动化数据标注，长文档理解，低DocVQA[7]、ChartQA[8]、InfographicVQA[9]和[10]

资源语言，多代理互动框架，视觉问答中引入的任务上表现出色，但在长上下文DU基准测

试如DUDE[11]、MMLongBench[12]、LongDocURL

1.介绍[13]和M-longdoc[14]上的准确率仍然保持在约40%。