基于树状结构递归检索优化策略研究.pdfVIP

01.RAPTOR递归文档树策略

在传统RAG中，我们通常依靠检索短文本连续块进行信息获取。但当处理长上下文时，仅

靠文档分块嵌入或简单填充所有上下文远远不够。我们需要为LLM的长文本寻找高效的最

小化分块方案，这正是RAPTOR的价值所在——它平衡了多文档处理、超长上下文支持、

高准确性和超低成本等特性。

RAPTOR本质是一种采用树状结构的递归抽象检索技术，通过自下而上的方式对文本片段

（块）进行聚类与归纳，构建分层体系。该技术首次于

研究。

RAPTOR

的运行流程其实很简单，主要步骤如下：

1.对原始文本进行分块，拆分成合适的大小；2.对拆分的文档块进行嵌入/向量化

（向量目前处于高维），并将数据到向量数据库；3.将高维向量进行降维以降低

运算成本（例如降至2维或3维）；4.对降维向量进行聚类，找出同一类的文档组；

5.合并文档组的文本，使用LLM对合并文档进行汇总得到新文本，重复步骤2至

5；6.当最终仅剩一个长度符合要求的文档时，结束整个流程；

其运行流程可视化后如下所示

在执行检索时，RAPTOR

模型采用两种主要策略——树遍历与折