各得其所：探索 RAG 中的最优嵌入-计算机科学-机器学习-大语言模型.pdfVIP

各得其所：探索RAG中的最优嵌入

ShitingChen,ZijianZhao,JinsongChen

FacultyofEducation,UniversityofHongKong,HongKong,China

DepartmentofCivilandEnvironmentalEngineering,

TheHongKongUniversityofScienceandTechnology,HongKong,China

Abstract交通(Lyuetal.,2025)、艺术(Zhaoetal.,2025)

和教育(Gaoetal.,2024)等多个领域加速了变

最近，随着大型语言模型（LLMs）在各革的步伐。

个领域产生了根本性的影响，将最新信

然而，与LLMs相关的幻觉问题(Henkel

息整合到LLMs中或添加外部知识以构

etal.,2024)长期以来一直困扰着人们，这一

建特定领域的模型的方法受到了广泛关

注。检索增强生成（RAG），作为一种推问题源自多种因素，如给定提示(Huangetal.,

本理时的扩展方法，因其低成本和参数调2025b)的知识不足以及有偏训练过程(Zhao,

译优所需的极小努力而引人注目。然而，由2025)。

中于训练数据和模型架构的不同，RAG中作为高效解决方案，检索增强生成（RAG）

1使用的变体嵌入模型在各个领域表现出已被广泛应用于构建基础模型(Chenetal.,

v不同的优势，这常常导致相似性计算结

22024)和实用代理(Arslanetal.,2024)。与微调

4果不同，进而使得LLMs的回答质量有和提示调整等训练方法相比，其即插即用功能

4所差异。为了解决这个问题，我们提出

7并研究了两种结合多个嵌入模型优点以使RAG成为一种高效、简单且成本效益高的

1

7.增强RAG的方法，命名为混合嵌入RAG方法。RAG的主要范式包括首先计算问题与外

0和置信度RAG。混合嵌入RAG简单地根部知识语料库中的片段之间的相似性，然后将

5

2据标准化的相似性对来自多个嵌入模型前个相关片段合并到提示中以引导大型语

:

v的检索结果进行排序和选择；然而，它言模型（LLM）(Lewisetal.,2020)。

i

x并未超越传统的RAG。相比之下，置信尽管RAG具有优势，选择合适的嵌入模

r

a度RAG使用不同的嵌入模型多次生成回

型仍然是一个关键问题，因为检索到的参考文

答，然后选出置信度最高的回