LangChain加载器与数据处理流程.pdfVIP

01.

文档

与文档加载器｜end▁of▁sentence｜

Document

类是

LangChain

中的组件，这个类定义了一个文档对象的结构，涵盖了

文本内容和相关的元数据，Document也是文档加载器、文档分割器、向量数据库、检索

器这几个组件之间交互传递的状态数据。｜end▁of▁sentence｜

在

LangChain

旧版本中，Document

还支持

lookup

检索功能，不过新版本下

Document

组件只拥有最基础的记录信息功能。｜end▁of▁sentence｜

_

文档

=页面内容(页面内容)

+元数据(元数据)｜end▁of▁sentence｜

面的中，我们通过手动输入的形式来创建数据，但是在RAG开发中，一般会特定

的数据，而非手动录入数据，例如：本地

markdown

文件、HTML

网页、PDF

文档、DOC

文档、

URL

等多种方式来加载数据，然后再将原始文档按照特定规则切割成特定大小的文档，最后再

将数据到向量数据库中，很少会手动录入数据。｜end▁of▁sentence｜

所以在

RAG

应用外部，一般都会有一个额外的扩展，专门用于处理

数据‑切割数据‑数

据

这个流程，并且这