多模态GraphRAG初探：文档智能+知识图谱+大模型结合范式-2025知识图谱峰会.pdf

多模态GraphRAG初探：

文档智能+知识图谱+大模型结合范式

演讲人：余俊晖｜360人工智能研究院高级算法工程师

01文档智能解析技术链路与文

档层级关系构建

02多模态图索引构建与多模态检索

目录生成流程

CONTENTS

03知识图谱解决chunk之间关联以及

细粒度问题

04文档多模态RAG相关工作进展

文档智能解析技术链路与

文档层级关系构建

RAGvsGraphRAG

智能文档理解技术演变

文档解析整体流程

OCR-PIPELINE

OCR-Free（多模态）

PDF-Parse

文档解析整体流程

方案优点缺点

OCR-1、可输出Boudingbox信1、当前方案依赖计算机视觉方案，泛化性较差；

PIPELINE息,以及版式标签信息等;2、精度不高。版式分析、表格解析、段落合并等效果均有

(如：ppstructure、2、模块灵活,可单独做优化改进空间；

mineru等)3、支持CPU离线部署3、CPU环境下速度较慢,涉及模块多,pipeline式较慢

4、能支持扫描版文档

OCR-FREE1、直接端到端,不需要其他1、不支持区域分块,不输出Boundingbox信息;

（如：olmOCR、mistral复杂逻辑2、不支持CPU离线部署;

OCR等）2、能处理扫描版文档3、速度非常慢，消耗GPU资源,在文档页面很多时,处理速

度难以忍受;

4、部署成本较高,针对较长文本情况,显存占用大;

5、存在幻觉问题,容易出现多字、少字,生成内容与原文不一

致;

6、无法处理表格图片,图表,无法做截图存储;

PDF2TEXT1、速度十分快速1、不支持扫描版本文档处理

(如：pdfminer、fitz等)2、在可编辑场景下OCR的2、无法正确处理图片、表格等,整体质量稍差一些;

文字信息识别较为准确

文档解析之布局分析

页面版式分析是一个目标检测任务，用于对文档进行区域划分，核心在于标签的定义：正文、标题、图片、图片标题、表格、表格标题、页眉、

页脚、注释、公式等，也可以是化学式、分子结构式等。

代表参考：/opendatalab/DocLayout-YOLO，核心是泛化性；

核心问题:版式分析模型与文档类型强相关，本质上需要文档标注的多样性以及粒度控制

文档解析之布局分析-360LayoutAnalysis

版式分析本质上是一个目标检测任务，用于对文档进行区域划分，核心在于标签的定义：正文、标题、图片、图片标题、表格、表格标题、页

眉、页脚、注释、公式

