网站大量收购独家精品文档,联系QQ:2885784924

多模态GraphRAG初探:文档智能+知识图谱+大模型结合范式-2025知识图谱峰会.pdf

多模态GraphRAG初探:文档智能+知识图谱+大模型结合范式-2025知识图谱峰会.pdf

  1. 1、本文档共44页,可阅读全部内容。
  2. 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
  3. 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载
  4. 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多

多模态GraphRAG初探:

文档智能+知识图谱+大模型结合范式

演讲人:余俊晖|360人工智能研究院高级算法工程师

01文档智能解析技术链路与文

档层级关系构建

02多模态图索引构建与多模态检索

目录生成流程

CONTENTS

03知识图谱解决chunk之间关联以及

细粒度问题

04文档多模态RAG相关工作进展

文档智能解析技术链路与

文档层级关系构建

RAGvsGraphRAG

智能文档理解技术演变

文档解析整体流程

OCR-PIPELINE

OCR-Free(多模态)

PDF-Parse

文档解析整体流程

方案优点缺点

OCR-1、可输出Boudingbox信1、当前方案依赖计算机视觉方案,泛化性较差;

PIPELINE息,以及版式标签信息等;2、精度不高。版式分析、表格解析、段落合并等效果均有

(如:ppstructure、2、模块灵活,可单独做优化改进空间;

mineru等)3、支持CPU离线部署3、CPU环境下速度较慢,涉及模块多,pipeline式较慢

4、能支持扫描版文档

OCR-FREE1、直接端到端,不需要其他1、不支持区域分块,不输出Boundingbox信息;

(如:olmOCR、mistral复杂逻辑2、不支持CPU离线部署;

OCR等)2、能处理扫描版文档3、速度非常慢,消耗GPU资源,在文档页面很多时,处理速

度难以忍受;

4、部署成本较高,针对较长文本情况,显存占用大;

5、存在幻觉问题,容易出现多字、少字,生成内容与原文不一

致;

6、无法处理表格图片,图表,无法做截图存储;

PDF2TEXT1、速度十分快速1、不支持扫描版本文档处理

(如:pdfminer、fitz等)2、在可编辑场景下OCR的2、无法正确处理图片、表格等,整体质量稍差一些;

文字信息识别较为准确

文档解析之布局分析

页面版式分析是一个目标检测任务,用于对文档进行区域划分,核心在于标签的定义:正文、标题、图片、图片标题、表格、表格标题、页眉、

页脚、注释、公式等,也可以是化学式、分子结构式等。

代表参考:/opendatalab/DocLayout-YOLO,核心是泛化性;

核心问题:版式分析模型与文档类型强相关,本质上需要文档标注的多样性以及粒度控制

文档解析之布局分析-360LayoutAnalysis

版式分析本质上是一个目标检测任务,用于对文档进行区域划分,核心在于标签的定义:正文、标题、图片、图片标题、表格、表格标题、页

眉、页脚、注释、公式

您可能关注的文档

文档评论(0)

优选文档 + 关注
实名认证
内容提供者

专注于发布优质文档,喜欢的可以关注一下哦~

1亿VIP精品文档

相关文档