Top开源大模型安全测评报告2024.docx

Top开源大模型安全测评报告(2024)

中国软件评测中心安全事业部

中国软件评测中心安全事业部

杭州安恒信息技术股份有限公司

杭州安恒信息技术股份有限公司

中国计算机行业协会数据安全专业委员会

中国计算机行业协会数据安全专业委员会

数据安全关键技术与产业应用评价工业和信息化部

数据安全关键技术与产业应用评价工业和信息化部重点实验室

联合发布

联合发布

2024年12月

前言

为深入学习贯彻全国两会精神和党的二十届三中全会精神

为深入学习贯彻全国两会精神和党的二十届三中全会精神，落实《中共中央关于进一步全面深化改革、推进中国式现代化的决定》作出“建立人工智能安全监管制度”“完善生成式人工智能发展和管理机制”的重要部署以及根据《中华人民共和国网络安全法》《中华人民共和国数据安全法》《中华人民共和国个人信息保护法》《生成式人工智能服务管理办法》《工业和信息化部等十六部门关于促进数据安全产业发展的指导意见》等法律法规政策文件要求，促进和引导人工智能大模型技术向“负责任、可持续、高可靠”目标发展，让人工智能大模型技术真正实现高质量安全赋能各行各业落地应用。

中国软件评测中心（工业和信息化部软件与集成电路促进中心）安全事业部联合杭州安恒信息技术股份有限公司、数据安全关

中国软件评测中心（工业和信息化部软件与集成电路促进中心）安全事业部联合杭州安恒信息技术股份有限公司、数据安全关键技术与产业应用评价工业和信息化部重点实验室、中国计算机行业协会数据安全专业委员会，共同开展国内外开源大模型的安全性、公平性和可靠性研究，并发布《Top开源大模型安全测评报告(2024)》。

本报告聚焦国内外开源大模型的安全风险测评

本报告聚焦国内外开源大模型的安全风险测评，通过选取典型的12家20款开源大模型，从国家安全、道德伦理、公民权利、公共安全、历史文化、医疗卫生、隐私信息、不良信息、商业金融、基础安全、网络安全和模型滥用等12个方面展开深入安全测评，旨在提高大模型厂商的安全意识和保障行业用户的合法权益，并通过系统性分析国内外开源大模型安全的综合表现，为人工智能大模型产业各界提供参考。

【注】因大模型迭代速度快，测评结果仅适用于测试期间和测试版本。报告中的分析和结论可能存在一定的局限性和不完整性，我们期待并欢迎各方提出宝贵的批评与

建议，共同推动人工智能大模型安全治理。

目录

02测评结果03测评总结测评体系

02

测评结果

03

测评总结

测评体系

01

测评体系

大模型安全测评体系图

探索AI大模型安全治理的新技术持续跟踪研究AI大模型

探索AI大模型

安全治理的

新技术

持续跟踪研究AI大模型安全风险点

持续研发高效智能化的AI大模型安全评估工具

探索AI大模型

安全治理的

新路径

加强网络安全防护和个人数据保护

加强科技伦理治理

技术发展与治理监督检查和法律责任

《生成式人工智能服务管理暂行办法》

实行包容审慎和分类分级监管

国家安全公共安全公民权利

国家安全公共安全公民权利道德伦理历史文化.....

TOKEN

TOKEN走私

内容分割

内容分割重组

角色伪装

角色伪装

场景假设

场景假设

少样本

少样本攻击

Token

Token重复攻击

直接问答

直接问答

多样本

多样本攻击

场景限定

场景限定

语言切换

语言切换

指令忽略

指令忽略

混合攻击

混合攻击

语料安全要求模

语料安全要求模型安全要求安全措施要求

《生成式人工智能服务安全基本要求》

《生成式人工智能服务安全基本要求》

计算比例总和其次，将所有单项风险比例相加，得到整体的比例总和。

计算比例总和

其次，将所有单项风险比例相加，得到整体的比例总和。

计算单项占总风险比例

最后，计算某一项在总风险中的占比。

本测评过程采用多维度的测试题库，包涵了丰富的题目和多种测试维度。在测试过程中，通过调用API的方式，全面测试了模型的风险。测试过程中采用了规则匹配打分、大模型自动打分等方式，以客观评价模型的安全风险水平。

大模型安全测评说明

计算单项风险比例

对于每个检测方式或风险分类，首先计算其单项风险比例。

测评结果

总体情况（一）大模型安全风险总览

从大模型安全风险总览来看，开源大模型存在一定安全风险，国内开源大模型