大模型系统安全保护要求编制说明.pdfVIP

标准资料

团体标准《大模型系统安全保护要求》编制说明

一、工作简况

1.1任务来源

根据中关村信息安全测评联盟2024年同意批准的《中关村信息安全测评联

盟团体标准制修订立项申请书》，公安部网络安全等级保护评估中心负责标准制

定项目《大模型系统安全保护要求》。

1.2主要起草单位和工作组成员

公安部第三研究所（公安部网络安全等级保护评估中心）主要负责起草，北

京百度网讯科技有限公司、蚂蚁科技集团股份有限公司、浙江大学、北京天融信

网络安全技术有限公司、启明星辰信息技术集团股份有限公司、快手科技有限公

司、上海商汤智能科技有限公司、北京远鉴信息技术有限公司共同参与了该标准

的起草工作。

1.3确定编制内容

标准编制组以大模型系统安全保护工作实践为基础，以GB/T22239-2019《信

息安全技术网络安全等级保护基本要求》《信息安全技术生成式人工智能服务

安全基本要求》为主要参考依据，规定了大模型系统通用安全和大模型系统全生

命周期安全的保护要求，完成《大模型系统安全保护要求》标准的编制工作。包

括：

（1）明确大模型系统对象；

（2）保护要求分为大模型系统通用安全和大模型系统全生命周期安全两个

方面；

（3）通用安全作为大模型系统安全的基础安全，从物理环境、网络架构、

边界防护、身份鉴别、访问控制、安全审计、入侵防范、恶意代码防范、集中管

控、供应链管理、个人信息保护、数据保密性、备份恢复、数据溯源等方面提出

安全要求；

（4）全生命周期安全覆盖设计开发安全要求、测试安全要求、部署与运行

安全要求、退役安全要求。

1.4主要工作过程

1.4.1草案

标准资料

2023年5月至2023年9月，标准编制组按照计划调研了国际和国内大模型安全

保护情况，分析了大模型系统面临的安全风险，总结了大模型安全保护的关注点

和实施方法等；同时标准编制组调研了与该标准相关的其他国家标准和行业标准。

2023年10月至2023年12月，标准编制组人员根据所参阅的文献、标准等资料

编写标准编制提纲，并在对提纲进行修改完善的基础上，开始具体的编制工作并

形成标准草案。

2023年12月至2024年1月标准编制组在不断的讨论和研究中完善内容，形成

了《大模型系统安全保护要求》征求意见稿。

二、标准编制原则和确定主要内容的论据及解决的主要问题

1.标准编制原则和目的

标准编制的基本原则是贯彻落实国务院《新一代人工智能发展规划》，全面

贯彻总体国家安全观，进一步推进网络安全保护工作的开展，进一步适应信息技

术的发展。基于上述原则针对大模型系统提出安全保护要求。

当大模型系统可以通过人类最严格的考试、同时执行多种工作命令、具备一

定的推理规划能力、生成以假乱真的照片、模仿人类与人聊天不被发现时，其安

全问题也更为复杂棘手，传统安全考虑以及管理方法需要重新审视。在此背景下，

大模型系统是否安全、如何保障安全成为全球焦点。

大模型系统安全除了网络安全基本属性，即大模型系统及其相关数据的保密

性、完整性、可用性以及系统对恶意攻击的抵御能力之外，大模型系统安全一般

还应考虑大模型的可靠性、透明性、可解释性、公平性、隐私性等多方面。目前

业界标准均以大模型安全保护为关注重点，尚无以大模型系统安全作为保护对象

的相关标准。因此本标准以大模型系统作为对象提出相应保护要求，涵盖大模型

安全以及大模型系统安全，以指导开发者及运营者对大模型系统进行全生命周期

安全保护，也可供大模型安全保护的其他方参考使用。

2.标准编制技术路线

标准编制总体技术路线如下：

首先，本标准面向应用大模型技术的系统，主要从大模型系统通用安全和大

模型系统全生命周期安全的角度进行考虑并搭建标准总体架构。

标准资料

其次，调研国内外大模型系统技术方案，研究提出符合实际需求的适用于大

模型系统的安全保护要求和措施，以便更好指导开展大模型安全保护相关工作。

3.解决的主要问题

本标准解决了目前大模型技术领域缺失覆盖全面，既能够指导大模型安全保

护又能够指导大模型系统安全保护类相关标准的问题。

4.标准文本架构