RAG重排序底层原理与Cross-Encoder模型.pptx

智泊AI大模型实战课RAG重排序底层原理解析主讲人：蓝天MoPass「魔泊云」·智泊AI人工智能研究院

为什么需要重排序？关键技术：Cross-Encoder模型案例-重排序实战重排序的优势与代价

为什么需要重排序？

为什么需要重排序？

为什么需要重排序？初步检索的局限性在RAG的第一阶段，我们通常使用双塔模型的向量检索（如通过BM25等）。这种方法为了追求效率，会先从一个巨大的向量库中快速召回Top-K（比如100个）最相关的文档片段。“相关性”不等于“有用性”向量检索计算的是查询（Query）和文档（Chunk）在语义空间上的整体相似度。然而，一个与查询整体语义相似的文档，不一定包含回答该问题的具体信息；反之，一个整体相似度不高但某个片段极其关键的文档可能会被埋没。“位置偏见”简单的向量检索返回的结果列表，其相关性分数（如余弦相似度）的微小差异并不完全可靠。排名第一的文档不一定比排名第十的文档好很多，但它们都被一股脑地塞给了大模型。上下文窗口限制

为什么需要重排序？在RAG系统中,重排器(reranker)扮演着至关重要的角色。它是信息检索系统中的第二阶段文档过滤器,专门负责对初始检索模块(如语义搜索或关键字搜索)所找到的文档进行重新排序。重排序的核心目标就是：在初步检索得到的大量相关文档中，精挑细选出最相关、最有用、最精确的几个文档，再交给大模型生成答