多任务检索器微调以实现特定领域和高效的 RAG-计算机科学-人工智能-检索增强生成-微调.pdfVIP

多任务检索器微调以实现特定领域和高效的

RAG

PatriceBechardOrlandoMarquezAyala

ServiceNowServiceNow

Montreal,CanadaMontreal,Canada

patrice.bechard@orlando.marquez@

摘要1介绍

检索增强生成（RAG）在部署大型语言模型（LLMs）随着越来越多的生成式人工智能（GenAI）应用程序

本时变得无处不在，因为它可以解决诸如生成幻觉或过被集成到实际生产系统中，检索增强生成（RAG）作

时信息等典型限制。然而，在构建实际的RAG应用程为一种常用技术已被业界采纳，以改进大型语言模型

译序时，会出现一些实用问题。首先，检索到的信息通常（LLMs）的输出。RAG缓解了LLM固有的缺陷，如

中具有特定领域的特性。由于调整LLM的成本高昂，因倾向于产生幻觉、生成过时的知识以及缺乏对数据源

2此调整检索器模型以提高输入到LLM的数据质量更的可追溯性[6,9]。

v

2为可行。其次，随着更多应用在同一实际系统中部署，将检索步骤引入生成过程却带来了几个实际挑战。

5

6不能为不同任务分别部署单独的检索器。此外，这些虽然一个参数量大的大型语言模型，如GPT-4[19]，可

4RAG应用程序通常会检索不同类型的数据。我们的解以被提示处理任何类型的输入并生成任意类型的文本

0

.决方案是针对各种特定领域的任务对一个小规模的检输出，但检索器需要小巧、快速，并且能很好地与通

1

0索器模型进行指令微调，使我们能够部署一个可以服常具有特定领域的数据源配合工作。

5

2务于多种使用场景的模型，从而实现低成本、可扩展不同规模的现成检索器可供人工智能从业者使用。

:性和速度。我们展示了该模型如何在跨域设置以及现嵌入服务如Voyage1在开源基准测试中表现出色，但

v

i

x实企业用例中的未见过的检索任务上泛化。它们不一定能推广到现实世界中的数据类型，特别是

r

a当这些数据是有结构的并来自现有数据库时。

另一个实际挑战是在依赖检索的不同生成AI用

CCSConcepts

例中实现可扩展性和泛化。与传统机器学习模型相比，

•Computingmethodologies→Informationextraction;大型语言模型的一个关键优势是它们可以通过大量的

Multi-tasklearning;Learningtorank;•Information预训练数据和指令微调[20,31,34]泛化到众多任务。

systems→Retrievalmodelsandranking.但如果检索器在许多检索任务上表现不佳或速度慢，

下游生成将受到影响。

我们试图解决的问题是：如何将检索步骤适应到

Keywords

特定领域和