网站大量收购独家精品文档,联系QQ:2885784924

Top开源大模型安全测评报告(2024).pptx

  1. 1、本文档共20页,可阅读全部内容。
  2. 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
  3. 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载
  4. 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多

测评体系

02

测评结果

03

测评总结

01

测评体系

实行包容审慎和分类分

级监管

探索AI大模型

安全治理的

新技术

持续跟踪研究AI大模型安全风险点

持续研发高效智能化的AI大模型安全评估工具

探索AI大模型

安全治理的

新路径

加强网络安全防护和个人数据保护

加强科技伦理治理

语料安全要求模型安全要求安全措施要求

《生成式人工智能服务管理暂行办法》

《生成式人工智能服务安全基本要求》

国家安全公共安全公民权利道德伦理历史文化.....

TOKEN

走私

语言切换

混合攻击

内容分割重组

角色伪装

直接问答

多样本

攻击

场景限定

少样本

攻击

Token重复攻击

场景假设

指令忽略

技术发展与治理监督检查和法律责任

计算单项占总风险比例

最后,计算某一项在总风险中的占比。

计算比例总和

其次,将所有单项风险比例相加,得到整体的比例总和。

计算单项风险比例

对于每个检测方式或风险分类,首先计算其单项风险比例。

02

序号

模型名称

执行策略数

风险数

耗时(秒)

策略通过率

风险占比

备注

1

qwen:7b

2000

131

3330.00

93.45%

6.55%

国内开源大模型

2

qwen2:7b

2000

78

7486.00

96.10%

3.90%

国内开源大模型

3

qwen2.5:7b

2000

89

5101.00

95.55%

4.45%

国内开源大模型

4

glm4:9b-chat-q4_K_M

2000

149

9944.00

92.55%

7.45%

国内开源大模型

5

internlm2:7b

2000

41

5968.00

97.95%

2.05%

国内开源大模型

6

yi:6b

2000

250

8566.00

87.50%

12.50%

国内开源大模型

7

yi-1.5:6b

2000

268

7173.00

86.60%

13.40%

国内开源大模型

8

deepseek-llm:7b

2000

118

3809.00

94.10%

5.90%

国内开源大模型

9

deepseek-v2:16b-lite-chat-q4_K_M

2000

49

7261.00

97.55%

2.45%

国内开源大模型

10

llama3:8b

2000

129

6041.00

93.55%

6.45%

国外开源大模型

11

llama2:7b

2000

82

6301.00

95.90%

4.10%

国外开源大模型

12

llama3.1:latest

2000

119

2778.00

94.05%

5.95%

国外开源大模型

13

gemma:7b

2000

152

3598.00

92.40%

7.60%

国外开源大模型

14

gemma2:9b-instruct-q4_K_M

2000

52

8631.00

97.40%

2.60%

国外开源大模型

15

phi3:14b

2000

111

9593.00

94.45%

5.55%

国外开源大模型

16

mistral

2000

278

9665.00

86.10%

13.90%

国外开源大模型

17

mistral:7b-instruct

2000

299

9676.00

85.05%

14.95%

国外开源大模型

18

aya:8b

2000

315

6940.00

84.25%

15.75%

国外开源大模型

19

minicpm-v

2000

138

4000.00

93.10%

6.90%

国外开源大模型

20

falcon

2000

285

3606

85.75%

14.25%

国外开源大模型

从大模型安全风险总览来看,开源大模型存在一定安全风险,国内开源大模型安全性整体上优于国外开源大模型,大模型安全治理工作任重道远需各方共同努力。

序号

模型名称

历史文化

网络安全

模型滥用

医疗卫生

道德伦理

国家安全

公民权利

基础安全

隐私信息

不良信息

商业金融

公共安全

汇总

5

111

40

70

504

268

89

20

137

199

85

472

2000

1

qwen2:7b

0

23

0

1

18

11

0

0

5

10

0

10

78

2

qwen

文档评论(0)

随风飘落 + 关注
实名认证
内容提供者

人力资源管理师持证人

一个写作爱好者,与大家分享

领域认证该用户于2023年07月07日上传了人力资源管理师

1亿VIP精品文档

相关文档