Claude Sonnet 3.5 模型预部署评估报告（中文）.pdf

美国AISI1和英国AISI2联合预

部署测试

AnthropicsClaude3.5Sonnet（2024

年10月发行）

1美国AI安全研究所

国家标准与技术研究所

2英国AI安全研究所

科学创新与技术部

人工智能、算力算网资料下载：/pAbdT

内容

1介绍1

1.1免责声明1

2方法1

2.1部署前评价1

2.2评价模型2

2.3代理设计2

2.4任务迭代和成本3

2.5不确定性4

2.6模型-采样参数4

I生物能力评估5

3USAISI生物学评价方法5

3.1-5

实验室台架数据集

3.2工具使用6

3.3得分6

4USAISI生物学评价结果7

4.1主要性能指标7

4.2工具使用消融7

4.3弃权结果8

5美国AISI生物能力评估未来工作的机会9

II网络能力评估11

6AISI11

英国网络评估方法

6.1代理方法和评分13

6.2基于任务的探测方法14

7英国AISI网络评估结果14

7.1漏洞发现和利用15

7.2网络运营17

1

人工智能、算力算网资料下载：/pAbdT

7.3操作系统环境17

7.4网络攻击计划和执行18

7.5公共与私人开发的任务18

8AISI

英国网络评估未来工作的机会

9美国网络能力评估方法

9.1Cybench数据集20

9.2代理方法和评分20

10美国AISI网络评估结果21

10.1平均成功率21

10.2每项任务结果21

10.3解决问题23

11AISI

美国网络评估未来工作的机会

III软件和人工智能开发评估

12美国AISI软件和人工智能开发评估方法25

12.1MLAgentBench数据集25

12.2代理人方法26

12.3得分26

13美国AISI软件和人工智能开发评估结果27

13.1平均标准化评分27

14美国AISI软件和人工智能开发评估的进一步工作机会28

15AISI

英国软件和人工智能开发评估方法

15.1基于代理的评估方法

16英国AISI软件和人工智能开发评估结果30

16.1基于Agent的通用推理、软件和人工智能开发成果

17英国AISI软件和人工智能开发评估未来工作的机会31

IV保障措施有效性评价33

2

人工智能、算力算网资料下载：/pAbdT

18UKAISI保障有效性方法33

18.1数据集33

18.2攻击方法34

18.3自动化和自动化34

19AISI35

英国保障有效性结果

19.1已知攻击#135

19.2代理攻击35

19.3其他公开攻击36

20AISI36

英国保障有效性评估未来工作的机会

21美国AISI保障有效性评估方法37

21.1HarmBench数据集37

21.2攻击方法37

21.3自动评分37

22美国AISI保障有效性评价结果38

22.1攻击比较和转移39

22.2帮助分配39

22.3HarmBench类别39的攻击

23AISI39

美国保障有效性评估的未来工作机会

24参考文献41

V附录42

AAISI42

其他美国网络分析

A.1按类别划分的成功率42

BAISI

其他美国软件和人工智能发展分析

B.1提交前的邮件计数