2025警惕AI“信口开河”：大语言模型幻觉控制能力深度测评报告.pdfVIP

警惕AI“信口开河”：大语言模型幻觉控制

能力深度测评报告

111211

蒋镇辉，鲁艺，吴轶凡，徐昊哲，武正昱，李佳欣

12

香港大学经管学院，西安交通大学管理学院

摘要

在人工智能浪潮席卷全球的背景下，大语言模型（LLM）正加速扎根知识

服务、医疗诊断、商业分析等专业领域，其应用深度与广度持续拓展。然而，一

个关键障碍始终横亘在前：“幻觉”——即输出看似逻辑自洽，实则与事实相悖

或偏离语境的现象——已成为制约其可信度的关键瓶颈。为此，香港大学蒋镇辉

教授领衔的人工智能评估实验室（AIEL），针对37个中美大语言模型（含20个

通用模型、15个推理模型、2个一体化系统），从事实性、忠实性幻觉两方面评

估其幻觉控制能力。测评结果显示，GPT-5（思考模式）和GPT-5（自动模式）

分别斩获冠亚军，Claude4Opus系列紧随其后；字节跳动公司的豆包1.5Pro系

列表现突出，领跑国产模型阵营，但与国际顶尖模型之间仍存在显著差距；整体

来看，本次测评模型更擅长于避免产生忠实性幻觉、但事实性幻觉控制能力仍有

短板。这项研究揭示了AI可信度需兼顾事实与忠实性幻觉协同提升的必要性，

为未来模型的优化提供了明确方向，推动AI从“能生成”向“可信赖”的关键

性迈进。

1

大语言模型（LLM）正被迅速地应用在知识服务、决策支持、智能导航、

客户服务等专业场景的核心环节。而在这一过程中，LLM生成内容的真实性与

可靠性，成为了支撑其应用价值的核心基石。

“幻觉”现象——即模型输出看似合理却与事实不符或偏离语境——已

成为制约其可信度的核心问题。识别大语言模型的幻觉问题尤为重要：比如，在

金融领域，一个虚构的并购公告或一套捏造的财务数据如若被大模型使用，会误

导投资人做出错误的决策；在法律领域，大模型或许会错误地引用一个不存在的

法律判例或已失效的条款来生成法律咨询，造成无法挽回的后果；而在医疗保健

领域，大模型模型有可能因幻觉而将两种不同疾病的症状混淆，从而提出错误的

诊断或治疗方案，直接威胁到患者的生命健康。因此，控制幻觉的能力，成了衡

量AI可信度的“生死线”。

为此，由蒋镇辉教授领导的香港大学经管学院人工智能评估实验室（AIEL）

针对37个中美大语言模型（含20个通用模型、15个推理模型和2个一体化系

统）的幻觉控制能力开展专项测评，旨在揭示不同模型在规避事实错误与保持语

境一致性方面的真实表现。

“幻觉”分类

“幻觉”指模型生成内容在事实依据或语境契合度上存在的问题，具体分为

两类：事实性幻觉和忠实性幻觉。事实性幻觉是指模型输出内容与真实世界信息

不符，既包括对已知知识的错误调用（如张冠李戴、数据错记），也包括对未知

信息的虚构（如编造未验证的事件、数据）。忠实性幻觉是指模型未能严格遵循

用户指令，或输出内容与输入上下文矛盾，包括遗漏关键要求、过度引申、格式

错误等。为清晰呈现大语言模型幻觉的产生路径，并帮助读者更好理解，其核心

要素的简要示意图如图1所示。

2

1.

图大模型幻觉产生示意图

测评任务与标准

1

（）测评题目

事实性幻觉测试题。此类题目旨在考察模型输出内容与客观事实的一致性，

设计过程结合现有研究成果与大模型实际应用中的常见错误模式，具体分为

三类：

1）信息检索类：这类问题聚焦对精确信息的查询需求。我们通过设计自主

查询式问题（覆盖人物、历史、文献等关键维度），要求模型基于这些问题自主

开展信息检索。最终通过对信息真实性的验证，考察模型是