- 1、本文档共44页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
多模态GraphRAG初探:
文档智能+知识图谱+大模型结合范式
演讲人:余俊晖|360人工智能研究院高级算法工程师
01文档智能解析技术链路与文
档层级关系构建
02多模态图索引构建与多模态检索
目录生成流程
CONTENTS
03知识图谱解决chunk之间关联以及
细粒度问题
04文档多模态RAG相关工作进展
文档智能解析技术链路与
文档层级关系构建
RAGvsGraphRAG
智能文档理解技术演变
文档解析整体流程
OCR-PIPELINE
OCR-Free(多模态)
PDF-Parse
文档解析整体流程
方案优点缺点
OCR-1、可输出Boudingbox信1、当前方案依赖计算机视觉方案,泛化性较差;
PIPELINE息,以及版式标签信息等;2、精度不高。版式分析、表格解析、段落合并等效果均有
(如:ppstructure、2、模块灵活,可单独做优化改进空间;
mineru等)3、支持CPU离线部署3、CPU环境下速度较慢,涉及模块多,pipeline式较慢
4、能支持扫描版文档
OCR-FREE1、直接端到端,不需要其他1、不支持区域分块,不输出Boundingbox信息;
(如:olmOCR、mistral复杂逻辑2、不支持CPU离线部署;
OCR等)2、能处理扫描版文档3、速度非常慢,消耗GPU资源,在文档页面很多时,处理速
度难以忍受;
4、部署成本较高,针对较长文本情况,显存占用大;
5、存在幻觉问题,容易出现多字、少字,生成内容与原文不一
致;
6、无法处理表格图片,图表,无法做截图存储;
PDF2TEXT1、速度十分快速1、不支持扫描版本文档处理
(如:pdfminer、fitz等)2、在可编辑场景下OCR的2、无法正确处理图片、表格等,整体质量稍差一些;
文字信息识别较为准确
文档解析之布局分析
页面版式分析是一个目标检测任务,用于对文档进行区域划分,核心在于标签的定义:正文、标题、图片、图片标题、表格、表格标题、页眉、
页脚、注释、公式等,也可以是化学式、分子结构式等。
代表参考:/opendatalab/DocLayout-YOLO,核心是泛化性;
核心问题:版式分析模型与文档类型强相关,本质上需要文档标注的多样性以及粒度控制
文档解析之布局分析-360LayoutAnalysis
版式分析本质上是一个目标检测任务,用于对文档进行区域划分,核心在于标签的定义:正文、标题、图片、图片标题、表格、表格标题、页
眉、页脚、注释、公式
您可能关注的文档
- DeepSeek+WarrenQ深度推理加持投研投顾场景-2025知识图谱峰会.pdf
- Graph + AI 时代私域知识问答链路的建设与优化-2025知识图谱峰会.pdf
- Graph+LLM如何重塑传统BI的未来-2025知识图谱峰会.pdf
- GraphRAG 在企业知识服务中的应用落地-2025知识图谱峰会.pdf
- GraphRAG在CVTE多业务场景下的探索与应用-2025知识图谱峰会.pdf
- 大模型时代的图机器学习-2025知识图谱峰会.pdf
- 大模型时代面向图模互补的技术研究与应用-2025知识图谱峰会.pdf
- 大模型时代知识管理发展趋势及标准化工作介绍-2025知识图谱峰会.pdf
- 法律大模型X知识图谱激活法律服务行业新范式-2025知识图谱峰会.pdf
- 基于产业链的知识图谱研究探索-2025知识图谱峰会.pdf
文档评论(0)