18-大模型（LLMs）RAG 版面分析——文本分块面.pdfVIP

大模型（LLMs）RAG版面分析——文本分块面

来自：AiGC面试宝典

宁静致远

•大模型（LLMs）RAG版面分析——文本分块面

•一、为什么需要对文本分块？

•二、能不能介绍一下常见的文本分块方法？

•2.1一般的文本分块方法

•2.2正则拆分的文本分块方法

•2.3SpacyTextSplitter方法

•2.4基于langchain的CharacterTextSplitter方法

•2.5基于langchain的递归字符切分方法

•2.6HTML文本拆分方法

•2.7Mrrkdown文本拆分方法

•2.8Python代码拆分方法

•2.9LaTex文本拆分方法

•致谢

一、为什么需要对文本分块？

使用大型语言模型（LLM）时，切勿忽略文本分块的重要性，其对处理结果的好坏有重大影响。

考虑以下场景：你面临一个几百页的文档，其中