金海-多模态RAG的实现.docxVIP

多模态RAG 的实现和机遇InfiniFlow金海

多模态RAG 的实现和机遇

InfiniFlow金海

基于语义抽取的多模态RAG1基于VLM的多模态RAG2如何Scale基于VLM的多模态RAG3技术路线的选择4

基于语义抽取的多模态RAG

1

基于VLM的多模态RAG

2

如何Scale基于VLM的多模态RAG

3

技术路线的选择

4

基于语义抽取的多模态RAG

基于语义抽取的多模态RAG

多模态RAG—“雕花”还是？ObjectDetectionTextVisionEncoderTextDecoderTextVisionEncoderPatchEmbedding

多模态RAG—“雕花”还是？

ObjectDetection

Text

VisionEncoder

TextDecoder

Text

VisionEncoder

PatchEmbedding

路线一:“雕花”n嵌入式图片n文档布局n表格n字体

路线一:“雕花”

n

嵌入式图片

n

文档布局

n

表格

n

字体

路线一:“雕花”文档结构识别模型页眉页脚图片表格段落DocumentsN扫描？表格结构识别模型图片截取YOCR流程图、饼图、柱状图文字换行检测Chunking结果Chunking结果多模态模型标题补全Chunking

路线一:“雕花”