探测评估语言模型的意识-计算机科学-大语言模型-评估意识.pdf

探测评估语言模型的意识

1213

JordNguyenKhiemHoangCarloLeonardoAttubatoFelixHofstätter

Abstract构成了AI治理策略的经验基础，从领先的人工智

语言模型能够区分测试和部署阶段——这能实验室(Anthropic,2023;OpenAI,2023;METR,

种能力被称为评估意识。这具有重要的安2025)采用的自愿负责任扩大政策（RSP）到欧盟人

全和政策含义，可能会削弱对人工智能治工智能法案(Union,2024)中提出的监管要求以及如

理框架和自愿性行业承诺至关重要的评估NIST(ofStandardsandTechnology,2023)等机构

制定的指导框架。这些政策通常规定，如果模型在

的可靠性。在本文中，我们研究了Llama-

本3.3-70B-Instruct中的评估意识。我们展示基准测试中表现出危险能力（例如WMDP(Lietal.,

了线性探测器可以区分现实世界的评估和2024)），则必须实施特定的安全协议或部署限制。

译

中部署提示，这表明当前模型内部表示这种最近的研究表明前沿模型可以区分评估和部署场

区别。我们还发现，目前的安全评估被探景——这种能力被称为评估意识(Goldowsky-Dill

1

v测器正确分类，这意味着它们已经显得对etal.,2025a)。多项研究表明，语言模型“具有相当

6模型而言是人为或不真实的。我们的研究好的判断能力，可以分辨给定的交互是否来自真实

8

7结果强调了确保值得信赖的评估和理解欺部署环境或评估”(Needhametal.,2025)，并能“意

1骗能力的重要性。更广泛地说，我们的工识到它们正在接受对齐评估”(Goldowsky-Dilletal.,

0

7.作展示了如何利用模型内部来支持黑箱方2025a)。这种能力在实际应用中也有所观察，例如，

0法进行安全审计，特别是对于未来在评估在信息检索任务中，Claude3Opus实例自发标记了

5

2意识和欺骗方面更有能力的模型。一个不合适的陈述为可能是测试(Anthropic,2024)。

:

v

i评估意识令人担忧，因为它削弱了我们对模型安全

x

r1.介绍性的评估能力，并进而影响建立在这些评估基础上

a

的治理机制的完整性。在人类心理学研究中，测试

目前，大型语言模型（LLM）的生命周期通常涉及

条件的意识会改变行为(McCambridgeetal.,2013)，

四个阶段：预训练、后训练、测试和部署。在测试

意识到自己正在被评估的模型可能会与部署期间

阶段，模型会以基准的形式接收输入并生成响应。

的表现不同。这特别不利于安全评估，在这