GAF-守护者：大型语言模型中风险管理与治理的代理框架-计算机科学-大语言模型-风险检测-AI安全性.pdf

GAF-守护者：大型语言模型中风险管理与治理的代理框架

SeshuTirupathiDhavalSalwalaElizabethDalyIngeVejsbjerg

IBMResearchEuropeIBMResearchEuropeIBMResearchEuropeIBMResearchEurope

Dublin,IrelandDublin,IrelandDublin,IrelandDublin,Ireland

2025年7月18日

ABSTRACT

本

译随着大型语言模型（LLMs）在各个领域中的应用日益广泛，其广泛应用需要严格的监控以

防止意外的负面影响并确保稳健性。

中此外，必须设计LLM以符合人类价值观，如防止有害内容和确保负责任地使用。

2当前用于生产中监控LLM的自动化系统和解决方案主要集中在与LLM相关的特定问题上，

v

6例如幻觉等，很少考虑具体用例的需求和用户偏好。

8本文介绍了一种名为GAF-Guard的新颖代理框架，该框架将用户、用例和模型本身置于中

9

2心位置，以进行LLM治理。

0

.该框架设计用于检测和监控基于LLM的应用程序部署相关的风险。

7

0该方法建模了能够识别风险、激活风险检测工具并在特定用例中促进持续监控和报告的自主

5代理，从而增强AI安全性和用户期望。

2

:代码可在/IBM/risk-atlas-nexus-demos/tree/main/gaf-guard获

v

i取。

x

r

a

1介绍

大型语言模型（LLMs）的治理因其规模和快速发展而面临重大挑战。与AI模型相关的传统风险，如数据偏

见和模型可解释性问题，因特定于LLMs的新担忧而变得更加复杂，包括虚假信息和版权侵权[1]。

LLM的一般性质使得仅从LLM的角度孤立地进行风险评估变得困难。相反，需要一种更细致的方法来考虑

这些模型的使用环境。如[1]中所述，用例的清晰度在定义风险和评估LLM性能方面起着关键作用。

为了说明这一点，[1]中引用了两个示例：在执法与教育环境中部署大语言模型，以及在医疗保健中用于内部

生产效率的聊天机器人与直接与患者互动的聊天机器人的区别。通过分析这些差异，我们可以更好地了解如

何减轻与大语言模型相关的风险，并确保其安全和负责任地使用。

为了进一步强调这一点，我们引用了麦肯锡[2]、Mindforge联盟[3]以及UKFinance和埃森哲[4]的三项独

立研究。这些研究各自调查了在软件开发生命周期用例背景下与生成式AI相关的风险。

识别的风险总结如表1所示。三项研究中识别出的风险存在显著重叠，但也有一些差异，其中最终用户能够

为相关用例提供所需的细微差别。这种细粒度和用例的相关性强调了不仅要考虑与生成式AI相关的总体风

险集合，还要考虑可以影响其采用和使用的独特情境因素（如用户和用例）。

APREPRINT-2025年7月18日

McKinseyMindforgeUKFinance

•知识产权侵权

•知识产权侵权•恶意使用•知识产权侵权

•恶意使用•安全威胁•安全威胁