07-LlamaIndex文档分段课件.pdfVIP

LlamaIndex文档分段策略

一、分段策略概述

良好的文档分段策略，可以更好地实现文档检索，也可以更高效地获取到相关文档。目前RAG技术的发

展日新月异，各类文档分段策略也层出不穷，但是整体上来说，均各有优劣。文档分段主要存在以下四

个方面的问题：

（1）段落过大：可能导致检索到的文档包含过多无关信息，增加了大模型理解语义的难度，降低了答

案的准确性，甚至超出了大模型上下文大小的限制。

（2）段落过小：可能导致检索到的文档只包含部分信息，无法全面回答用户所提的问题。

（3）分段不当：可能会破坏语义的连贯性，导致原本一个完整的知识被拆分到了多个段落中。

（4）忽略文档结构：通常很多文档都是有章节的划分的，一章或者一节马通常就是一个完整的话题，

如果分段不当，则该结构就会被破坏，进而导致切分不当。

在LlamaIndex中，主要包含5种类型的分段策略：固定大小分段、语义分段、递归分段、文档结构分

段、混合策略分段。