Yoshua Bengio：2026年国际人工智能安全报告（中文）.pptxVIP

2026

年国际人工智能安全报告

最终草案

目录

贡献者…………………2

致谢……………………4

前言……………………6

关于本报告……………9

自2025年报告发布以来的重要进展………………10

执行摘要………………11

导言…………………13

1.通用型人工智能的背景信息……………………15

1.1.什么是通用型人工智能?……………16

1.2.当前能力………………24

1.3.到2030年的能力……………………29

2.风险………………37

2.1.恶意使用风险…………38

2.1.1.AI生成的内容与犯罪活动………38

2.1.2.影响和操纵……………………43

2.1.3.网络攻击…………48

2.1.4.生物和化学风险…………………54

2.2.故障风险………………60

2.2.1.可靠性挑战………60

2.2.2.失控………………64

2.3.系统性风险……………70

2.3.1.劳动力市场影响…………………70

2.3.2.对人类自主性的风险……………74

3.风险管理…………79

3.1.技术与制度性挑战……………………80

3.2.风险管理实践…………85

3.3.技术防护与监测………97

3.4.开放权重模型………107

3.5.建设社会韧性………11

结论…………………117

词汇表………………118

格式化引文…………125

参考文献……………126

2026年国际人工智能安全报告5

自2025年报告发布以来的重要进展

自2025年1月首份《国际人工智能安全报告》发布以来的重要进展。

一通用型人工智能能力持续提升，尤其在数学、编程和自主运行领域表现突出。顶尖人工智能系统在

国际数学奥林匹克竞赛题目中取得了金牌级表现。在编程领域，智能体如今能够可靠地完成原本需要人类程序员花费约半小时的任务，而一年前这一时间还不到十分钟。尽管如此，性能表现仍然“参差不齐(jagged)”,领先系统在某些看似简单的任务中仍会出现故障。

一通用型人工智能能力的提升越来越多地来自应用于模型初始训练后的技术。这些“后训练”方法包括针对特定任务优化模型，并在生成输出时允许模型使用更多算力。与此同时，投入更多算力进行

初始训练也持续提升模型能力。

一人工智能的应用虽发展迅猛，但在不同地区极不均衡。人工智能的普及速度已超越个人计算机等前

代技术，目前每周使用主流人工智能系统的人数至少达到7亿。在某些国家，超过50%的人口使用

人工智能，但在非洲、亚洲和拉丁美洲的很多地区，使用率可能仍低于10%。

一人工智能科学能力的提升加剧了人们对其在生物武器研发中被滥用的担忧。由于部署前的测试未能排除这些模型可能实质性帮助新手开发此类武器的可能性，因此，多家人工智能公司在2025年

发布新模型时增加了额外安全防护措施。

一更多证据表明人工智能系统已被用于现实世界的网络攻击。人工智能企业的安保分析表明，恶意行

为者和与国家相关的团体正在利用人工智能工具辅助网络行动。

一可靠的部