大模型面试题-21-RAG（Retrieval-Augmented Generation）评测面.pdf

RAG（Retrieval-AugmentedGeneration）评测面

来自：AiGC面试宝典

宁静致远2024年01月28日10:12

•RAG（Retrieval-AugmentedGeneration）评测面

•一、为什么需要对RAG进行评测？

•二、如何合成RAG测试集？

•三、RAG有哪些评估方法？

•3.1独立评估

•3.1.1介绍一下独立评估？

•3.1.2介绍一下独立评估模块？

•3.2端到端评估

•3.2.1介绍一下端到端评估

•3.2.2介绍一下端到端评估模块？

•四、RAG有哪些关键指标和能力？

•五、RAG有哪些评估框架？

•4.1RAGAS

•4.2ARES

•致谢

一、为什么需要对RAG进行评测？

在探索和优化RAG（检索增强生成器）的过程中，如何有效评估其性能已经成为关键问题。

二、如何合成RAG测试集？

假设你已经成功构建了一个RAG系统，并且现在想要评估它的性能。为了这个目的，你需要一个

评估数据集，该数据集包含以下列：

•question（问题）：想要评估的RAG的问题

•ground_truths（真实答案）：问题的真实答案

•answer（答案）：RAG预测的答案

•contexts（上下文）：RAG用于生成答案的相关信息列表

前两列代表真实数据，最后两列代表RAG预测数据。

要创建这样的数据集，我们首先需要生成问题和答案的元组。

接下来，在RAG上运行这些问题以获得预测结果。

•生成问题和基准答案（实践中可能会出现偏差）

要生成（问题、答案）元组，我们首先需要准备RAG数据，我们将其拆分为块，并将其嵌入向量

数据库中。完成这些步骤后，我们会指示LLM从指定主题中生成num_questions个问题，从而得

到问题和答案元组。

为了从给定的上下文中生成问题和答案，我们需要按照以下步骤操作：

1.选择一个随机块并将其作为根上下文

2.从向量数据库中检索K个相似的上下文

3.将根上下文和其K个相邻上下文的文本连接起来以构建一个更大的上下文

4.使用这个大的上下文和num_questions在以下的提示模板中生成问题和答案

\\

Yourtaskistoformulateexactly{num_questions}questionsfromgivencontextand

providetheanswertoeachone.

Endeachquestionwitha?characterandtheninanewlinewritetheanswerto

thatquestionusingonly

thecontextprovided.

Separateeachquestion/answerpairbyXXX

Eachquestionmuststartwithquestion:.

Eachanswermuststartwithanswer:.

Thequestionmustsatisfytherulesgivenbelow:

1.Thequestionshouldmakesensetohumansevenwhenreadwithoutthegiven

context.

2.Thequestionshouldbefullyansweredfromthegivencontext.

3.Thequestionshouldbeframedfromapartofcontextthatcontainsimportant

information.Itcana