GAF-守卫：用于大型语言模型风险管理与治理的代理框架-计算机科学-大语言模型-风险检测-AI安全性.pdfVIP

GAF-守卫：用于大型语言模型风险管理与治理的代理框架

SeshuTirupathiDhavalSalwalaElizabethDalyIngeVejsbjerg

IBMResearchEuropeIBMResearchEuropeIBMResearchEuropeIBMResearchEurope

Dublin,IrelandDublin,IrelandDublin,IrelandDublin,Ireland

2025年7月10日

ABSTRACT

本

译随着大型语言模型（LLMs）在各个领域的应用日益广泛，其广泛应用需要严格的监控以防

止意外的负面后果并确保稳健性。

中此外，LLMs必须设计为符合人类价值观，如预防有害内容和确保负责任使用。

2当前用于生产中监控LLMs的自动化系统和解决方案主要集中在与LLM相关的问题上，例

v

6如幻觉等，很少考虑特定用例的需求和用户偏好。

8本文介绍了GAF-Guard，一种新颖的代理框架，用于LLM治理，将用户、使用场景和模型

9

2本身置于中心位置。

0

.该框架设计用于检测和监控基于LLM的应用程序部署相关的风险。

7

0该方法建模自主代理以识别风险，在特定用例中激活风险检测工具，并促进持续监控和报告

5以增强AI安全性并满足用户期望。

2

:代码可在/IBM/risk-atlas-nexus-demos/tree/main/gaf-guard获

v

i取。

x

r

a

1介绍

大型语言模型（LLMs）的治理由于其规模和快速发展而面临重大挑战。与AI模型相关的传统风险，如数据

偏见和模型可解释性，因与LLMs相关的新问题而加剧，包括虚假信息和版权侵权[1]。

LLM的通用性使得仅从LLM的角度孤立地进行风险评估变得困难。相反，需要一种更为细致的方法来考虑

这些模型的应用情境。正如[1]所指出的，使用案例的清晰度在定义风险和评估LLM性能中扮演着关键角色。

为了说明这一点，[1]中引用了两个示例：在执法与教育环境中部署大规模语言模型（LLMs），以及内部生产

率聊天机器人与直接与医疗保健中的患者互动的聊天机器人的区别。通过考察这些差异，我们可以更好地了

解如何减轻与大规模语言模型相关的风险，并确保其安全和负责任地使用。

为了进一步强调这一点，我们引用了麦肯锡[2]、Mindforge联盟[3]和UKFinance携手安永[4]进行的三项

独立研究。这些研究分别调查了在软件开发生命周期用例背景下与生成式AI相关的风险。

识别的风险总结见表1。三项研究中所识别的风险存在显著的重叠，但也有一些差异，终端用户能够为相关

使用案例提供必要的细微差别。这种粒度水平和使用案例的相关性强调了考虑不仅仅是与生成式AI相关的

整体风险集的重要性，还包括可能影响其采用和使用的独特情境因素（如用户和使用案例）。

APREPRINT-2025年7月10日

McKinseyMindforgeUKFinance

•著作权侵权

•著作权侵权•恶意使用•著作权侵权

•恶意使用•安全威胁•安全威胁

•安全威胁