基于神经网络的文本生成评价中基于参考的与无参考的评估指标相关性研究综述.docVIP

基于神经网络的文本生成评价中基于参考的与无参考的评估指标相关性研究综述

一、两类评估指标的核心内涵与典型范式

基于参考的评估指标核心逻辑是将待评估生成文本与一个或多个人类撰写的参考文本进行相似度匹配，通过量化重合度间接判断生成质量。早期机器翻译任务中提出的BLEU指标是该类范式的典型代表，其通过计算n-gram共现频次加权和，对生成文本与参考文本的词汇重合度进行快速打分，后续衍生的ROUGE系列指标针对摘要任务优化了召回率计算逻辑，METEOR则引入了词干还原、同义词匹配等策略缓解严格匹配带来的误判问题。随着预训练语言模型的普及，基于语义嵌入的参考类指标逐渐成为主流，如BLEURT通过微调BERT模型学习人类评价偏好，能够捕捉词汇表层匹配之外的语义等价关系，在开放域文本生成场景下的表现显著优于传统n-gram指标。这类指标的核心优势在于评价逻辑符合人类“对标标杆”的判断习惯，在翻译、摘要等参考文本质量较高且数量充足的任务中表现稳定，但其局限性同样突出：一是参考文本的获取成本极高，尤其是开放域对话、创意写作等场景下不存在唯一正确的参考；二是无法覆盖“语义等价但表述完全不同”的高质量生成文本，容易误判具有创新性的生成结果。

无参考（又称参考无关）评估指标则完全不需要依赖外部参考文本，直接通过建模文本本身的固有属性或人类评价的内在规律完成质量判断。早期无参考指标主要聚焦于文本流畅度、语法