2024生成式大模型安全评估白皮书-中国科学院蚂蚁安全实验室.pdf

PromptGenerate

生成式大模型

安全评估白皮书

LargeLanguageModel

前言

自2022年11月以来，以ChatGPT为代表的生成式大模型持续引发全球广泛关注。作为新

大模型安全白皮书参与人名单一轮人工智能技术革命的代表性成果，生成式大模型的迅速发展，正在深刻重塑全球人工智

能技术格局，为我国数字经济高质量发展和智能化转型注入新的动能。然而，随着技术应用

联合编写的不断扩展，其潜在的安全风险逐渐凸显。诸如“大模型幻觉”、三星公司机密资料泄露等事

件，反映了生成式大模型在隐私保护、恶意滥用、技术漏洞及合规性等方面的复杂挑战。这

智能算法安全重点实验室（中国科学院）

些问题的出现，不仅对技术的安全性提出了更高要求，也对产业的规范发展和社会治理能力

公安部第三研究所

构成了严峻考验。

蚂蚁安全实验室

编写组组长我国对此高度重视，出台了《生成式人工智能服务管理暂行办法》等一系列政策文件，

明确了生成式大模型技术在安全性、风险防控和合规性方面的基本原则和监管要求，为技术

程学旗——智能算法安全重点实验室主任（中国科学院）

的健康发展提供了系统指引和政策保障。这些举措充分体现了我国在全球人工智能技术治理

中秉持的前瞻性战略眼光和责任担当。

编写组成员

智能算法安全重点实验室（中国科学院）：敖翔、尹芷仪、张曙光、王晓诗、李承奥、近期，OpenAI发布了更擅长处理复杂推理任务的o1和o3系列模型，标志着生成式大模

陈天宇、景少玲、张玉洁、张函玉、张晓敏型在复杂应用场景中的潜力进一步提升。然而，技术的快速迭代也对构建科学化、系统化的

生成式大模型安全评估框架提出了迫切需求。构建这一框架，需要从技术性能、风险防控、

公安部第三研究所：盛小宝、王勇、江钦辉、曹思玮、刘晋名、文煜乾、刘佳磊、王光泽

合规性等多个维度明确评估指标体系，系统性降低潜在风险，为行业提供权威的技术指导。

蚂蚁安全实验室：王维强、李俊奎、崔世文、许卓尔、孙传亮、郑亮、朱丛、周莉

这不仅将促进生成式大模型技术向安全、可信、可持续的方向发展，也为全球人工智能技术

治理提供了可借鉴的“中国方案”。

版权声明

凡是在学术期刊、新闻发布稿、商业广告及其他文章中使用本报告文字、观点，请注明