规范自我修正：通过测试时优化缓解情境奖励篡改-计算机科学-大语言模型.pdfVIP

PublishedasaconferencepaperatSCALRWorkshop@COLM2025

规范自我修正：通过测试时优化缓解情境奖励篡改

VíctorGallego

KomorebiAITechnologies

Madrid,Spain

victor.gallego@komorebi.ai

Abstract

语言模型（LMs）容易受到情境奖励操控的影响，在这种情况下，它们利用

被污染或有缺陷的书面规范或评分标准中的漏洞来获得高分，而没有实现

用户的真正意图。我们引入了规范自我修正（SSC），这是一种新颖的测试

时间框架，使LM能够识别并纠正其自身指导规范中的缺陷。SSC采用多

本步推理过程，模型首先基于可能被污染的规范生成响应，然后批评其输出，

译并修订规范本身以消除可利用的漏洞。最后，使用这种自我修正后的规范

中生成一个更稳健的响应。在涉及多种语言模型的创意写作和代理编码任务

实验中，我们证明了虽然模型最初在50-70%的情况下操纵被污染的规范，

1

v但SSC过程将这一脆弱性降低了超过90%。这种动态修复发生在推理时间，

2并且不需要修改权重，从而导致更稳健一致的模型行为。代码在vicgalle/规

4

7范自我纠正。

8

1

.

71介绍

0

5

2大型语言模型（LMs）与人类意图的对齐是其安全部署中的一个核心挑战。一种关键的

:失败模式是奖励操纵或规范游戏，其中模型通过利用漏洞来实现给定评分标准上的高

v

i分，而不是满足用户的潜在目标(Skalseetal.,2022;Amodeietal.,2016;Panetal.,

x

r2022;Weng,2024)。这种情况通常发生在规范——无论是形式化的奖励函数还是自然语

a

言的评分标准——不完整或者包含容易被利用的缺陷时。虽然像宪政AI(Baietal.,2022)

和RLHF(Ouyangetal.,2022)这样的方法可以改善对齐，但它们通常假设指导原则本

身是合理的。我们的工作探索了一个不同的范式：如果模型不仅能批评其响应，还能批

评和改进所给定的规范会怎样？关键见解在于，通过游戏化评分标准然后为这种操纵

后的回应进行辩护提供了足够的背景信息，使得模型能够识别出评分标准本身的缺陷。

我们引入了规范自我校正（SSC），这是一

种在推理时将这种见解形式化的程序。SSC

利用模型的推理能力对其自己的目标函数

进行元级别修正。这允许动态地、实时修补

被污染或有缺陷的标准，从而实现更稳健且

真正一致的行为。我们的工作做出了以下贡

献：i)我们形式化了SSC过程，这是一种

新颖的测试时规范细化框架；ii)我们通过实图1:规格自我校正（SSC）过程的示意图概述。

证展示了它在不同领域（从创意写作到代理

编码）的有效性，表明它显著减少了模型在

1

PublishedasaconferencepaperatSCALRWorkshop@COLM2025

多个规范游戏场景中奖励作弊行为的倾向。虽然先前