检索增强生成系统的一些其他评价维度.pdfVIP

SJ/TXXXXX—XXXX

附录A

（资料性）

检索增强生成系统的一些其他评价维度

A.1拒答能力

拒答能力是指当RAG系统检索到的外部知识（相关上下文）中，不包含回答用户查询所必需的关

键信息时，系统能够明确地识别这一信息缺失状态，并以拒绝回答的方式作出响应，而不是基于不

完整的证据进行推测或产生幻觉内容。

要实现有效的拒答能力，要求RAG系统所使用的模型具备较强的辨别力和判断力，能够在返回的

存在噪声的上下文数据中准确判断出是否缺乏回答问题的关键信息，同时还要避免过度拒答。

从评价指标上来看，可使用的评估指标可包括拒答准确率、拒答精确率、拒答率等。

a)拒答准确率：在一个混合了可回答与不可回答问题的测试集上，该指标衡量系统正确分类

问题（即对可回答问题给出正确答案，对不可回答问题执行拒答）的总体比例。

b)拒答精确率：在所有系统判定为“拒答”的样本中，实际上真正是不可回答问题的比例。

c)拒答率：在一个完全由不可回答问题组成的测试集上，该指标衡量系统成功执行拒答操作

的比例。

A.2信息整合能力

信息整合能力是指RAG系统能够识别、提取并综合来自多个独立的文档或上下文分片中的互补信

息，以回答一个需要多方面事实才能完整解答的问题。这要求模型不仅能理解单个信息片段，更能

理解它们之间的逻辑关系，并将它们组合成一个有意义的整体。

从具体的技术实现来看，提升系统信息整合能力的关键不仅仅在于优化模型自身，也可以通过

检索优化、检索后的排序优化等多种技术的综合进行改进。

从评价指标上来看，可使用的评估指标可使用7.3.1上下文忠实度。

A.3噪声鲁棒性

噪声鲁棒性是指RAG系统在检索模块返回的上下文中包含与问题不直接相关、具有干扰性或不包

含答案的“噪声”信息时，仍能准确地识别并利用其中的有效信息，同时忽略或过滤掉噪声，从而

生成正确、可靠答案的能力。

从评价方法上来看，可使用带有噪声的测试集进行对比测试。即在注入了特定比例和类型噪声

的测试集上，通过比较不同噪声水平下的生成答案质量，来评估模型的鲁棒性。生成答案质量指标

可参考7.3中定义的指标。

A.4反事实鲁棒性

反事实鲁棒性是指当RAG系统检索到的外部上下文中包含与客观事实不符、过时或具有明显误导

性的信息时，系统能够识别出这些错误，并通过技术手段（如依赖模型内置知识或者其他验证手段

等）进行修正，而不是盲目地采信并复述这些错误信息的能力。

从评价指标上来看，可使用的评估指标包括错误检测率、错误修正率等。

11

SJ/TXXXXX—XXXX

a)错误检测率：衡量当模型面对包含事实错误的上下文时，能否在回答中明确指出所提供信

息存在问题的比例。例如，模型是否会生成“根据我所知，您提供的文档中关于……的信

息似乎不准确”或类似表述。

b)错误修正率：在模型识别出上下文错误的前提下，它能否忽略错误信息并给出正确答案的

比例。

12