2025警惕AI“信口开河”:大语言模型幻觉控制能力深度测评报告.pdfVIP

  • 4
  • 0
  • 约1.69万字
  • 约 12页
  • 2025-10-15 发布于浙江
  • 举报

2025警惕AI“信口开河”:大语言模型幻觉控制能力深度测评报告.pdf

警惕AI“信口开河”:大语言模型幻觉控制

能力深度测评报告

111211

蒋镇辉,鲁艺,吴轶凡,徐昊哲,武正昱,李佳欣

12

香港大学经管学院,西安交通大学管理学院

摘要

在人工智能浪潮席卷全球的背景下,大语言模型(LLM)正加速扎根知识

服务、医疗诊断、商业分析等专业领域,其应用深度与广度持续拓展。然而,一

个关键障碍始终横亘在前:“幻觉”——即输出看似逻辑自洽,实则与事实相悖

或偏离语境的现象——已成为制约其可信度的关键瓶颈。为此,香港大学蒋镇辉

教授领衔的人工智能评估实验室(AIEL),针对37个中美大语言模型(含20个

通用模型、15个推理模型、2个一体化系统),从事实性、忠实性幻觉两方面评

估其幻觉控制能力。测评结果显示,GPT-5(思考模式)和GPT-5(自动模式)

分别斩获冠亚军,Claude4Opus系列紧随其后;字节跳动公司的豆包1.5Pro系

列表现突出,领跑国产模型阵营,但与国际顶尖模型之间仍存在显著差距;整体

来看,本次测评模型更擅长于避免产生忠实性幻觉、但事实性幻觉控制能力仍有

短板。这项研究揭示了AI可信度需兼顾事实与忠实性幻觉协同提升的必要性,

为未来模型的优化提供了明确方向,推动AI从“能生成”向“可信赖”的关键

性迈进。

1

大语言模型(LLM)正被迅速地应用在知识服务、决策支持、智能导航、

客户服务等专业场景的核心环节。而在这一过程中,LLM生成内容的真实性与

可靠性,成为了支撑其应用价值的核心基石。

“幻觉”现象——即模型输出看似合理却与事实不符或偏离语境——已

成为制约其可信度的核心问题。识别大语言模型的幻觉问题尤为重要:比如,在

金融领域,一个虚构的并购公告或一套捏造的财务数据如若被大模型使用,会误

导投资人做出错误的决策;在法律领域,大模型或许会错误地引用一个不存在的

法律判例或已失效的条款来生成法律咨询,造成无法挽回的后果;而在医疗保健

领域,大模型模型有可能因幻觉而将两种不同疾病的症状混淆,从而提出错误的

诊断或治疗方案,直接威胁到患者的生命健康。因此,控制幻觉的能力,成了衡

量AI可信度的“生死线”。

为此,由蒋镇辉教授领导的香港大学经管学院人工智能评估实验室(AIEL)

针对37个中美大语言模型(含20个通用模型、15个推理模型和2个一体化系

统)的幻觉控制能力开展专项测评,旨在揭示不同模型在规避事实错误与保持语

境一致性方面的真实表现。

“幻觉”分类

“幻觉”指模型生成内容在事实依据或语境契合度上存在的问题,具体分为

两类:事实性幻觉和忠实性幻觉。事实性幻觉是指模型输出内容与真实世界信息

不符,既包括对已知知识的错误调用(如张冠李戴、数据错记),也包括对未知

信息的虚构(如编造未验证的事件、数据)。忠实性幻觉是指模型未能严格遵循

用户指令,或输出内容与输入上下文矛盾,包括遗漏关键要求、过度引申、格式

错误等。为清晰呈现大语言模型幻觉的产生路径,并帮助读者更好理解,其核心

要素的简要示意图如图1所示。

2

1.

图大模型幻觉产生示意图

测评任务与标准

1

()测评题目

事实性幻觉测试题。此类题目旨在考察模型输出内容与客观事实的一致性,

设计过程结合现有研究成果与大模型实际应用中的常见错误模式,具体分为

三类:

1)信息检索类:这类问题聚焦对精确信息的查询需求。我们通过设计自主

查询式问题(覆盖人物、历史、文献等关键维度),要求模型基于这些问题自主

开展信息检索。最终通过对信息真实性的验证,考察模型是

您可能关注的文档

文档评论(0)

1亿VIP精品文档

相关文档