行业观点_模型能力升级下AI安全重要性提升_AI安全纵深防御.pdfVIP

-

模型能力升级，AI安全重要性提升。大模型风险正由内容生成扩展到能够调用工具、访问外部系统并修改现实状态的

智能体。AISI数据显示，前沿模型完成初级网络安全任务的成功率由2023年末低于9%升至2025年的50%，并首次完

成通常需要十年以上经验的专家级任务；METR测得2023年以后前沿模型在50%成功率下的任务时长翻倍周期约为

130.8天。同一模型的能力还会随推理预算上升，约8%的网络安全任务在token预算超过1,000万后才首次被解决。

这意味着风险不再只取决于模型权重，而由模型能力、身份权限、工具配置、网络连接和外部环境共同决定。Anthropic

与AISI披露的越界事件表明，评测环境误接公网、关闭生产防护或缺少目标范围检查，都可能把模拟任务转化为真

实行动。中国、欧盟及前沿模型厂商已把风险分级、内容标识、模型评估、事件报告和发布门槛纳入治理流程，美国

新设工作组也将评估AI风险、机遇及联邦政府职责。

AI安全走向纵深防御。单纯依靠对齐训练和内容过滤难以覆盖智能体的完整风险链条，安全体系需要同时管理数据、

模型、权限、工具和运行环境。训练阶段应处理高风险数据、目标函数、对抗样本和模型权重保护；评估阶段需要组

合ModelTesting、RedTeaming和FieldTesting，并记录模型版本、推理预