人工智能安全研究所国际网络会议前瞻-16页.pdf

2024年第1期（总第11期）

人工智能安全研究所国际网络会议前瞻

人工智能安全研究所国际网络会议前瞻

编者按：为推进人工智能与国际安全领域的相关研究，清华大学战略

与安全研究中心（CISS）组织研究团队定期跟踪最新国际研究动态，

重点关注人工智能应用对国际安全带来的风险挑战，并针对人工智能

安全领域国际动态、智库报告、学术论文等资料进行分析。本文是CISS

推出的人工智能与国际安全研究动态第11期，主要分析美国举办的人

工智能安全研究所国际网络会议。

2024年11月21-22日，美国将举办人工智能安全研究

所国际网络（InternationalNetworkofAISafetyInstitutes）第

一次会议，汇聚全球各地政府代表、企业高管和学术界人士，

推进全球合作，促进人工智能安全、可靠和值得信赖的发展。

在人工智能技术快速发展背景下，各国高度重视人工智能安

全和治理问题。本次峰会将在设定议题、达成共识和形成预

期成果方面引领全球人工智能治理新方向。

一、峰会核心议题和动向

1.推进前沿人工智能模型的风险评估与安全测试

欢迎关注CISS如需订阅电子版本，请访问CISS网站

010http://

ciss@北京市海淀区清华大学明理楼428室

前沿人工智能模型，即指在规模、性能和创新性上达到

或接近当前技术极限，具备广泛适用性和高计算能力的模型。

这一模型展现出惊人潜力，但其强大的能力也带来了潜在安

全隐患。本次峰会将前沿人工智能模型的风险评估与安全测

试作为核心议题之一，应对前沿人工智能技术在军事、生物

安全和信息安全等领域带来的潜在威胁。近期不断有研究和

政策强调，前沿人工智能模型可能普遍被滥用于开发生化武

器、实施信息战或其他恶意活动，导致严重的公共安全和国

家安全风险。[1]特别是像OpenAI的“ChatGpto1”已被认

定具有“中等风险”，包括帮助制定生物威胁操作计划，甚

至在测试中显示出“伪装兼容性”，即表面上符合人类意图，

实则隐瞒自身真正目标的能力。[2]

与会各方将在英国、韩国两次“人工智能安全峰会”（AI

SafetySummit）会议基础上，深入探讨如何通过安全测试和

风险评估机制确保这些前沿人工智能模型可控性和安全性。

如红队测试（Red-Teaming）正逐渐成为高风险领域的必备安

全手段，即通过模拟恶意攻击手段来揭示模型的潜在漏洞和

风险。[3]这种测试方法不仅适用于人工智能开发初期的风

险评估，也应成为模型投入使用前的强制性测试手段，以确

保其不会在关键领域被误用或滥用。美国和欧盟等国已将红

队测试列为高风险人工智能系统的关键步骤，应对日益增长

欢迎关注CISS如需订阅电子版本，请访问CISS网站

010http://

ciss@北京市海淀区清华大学明理楼428室

的人工智能安全威胁，并为未来全球技术标准制定奠定基础。

[4]

峰会预计还将就人工智能模型在军事和生物安全等高

风险领域的应用制定更严格的技术安全标准。为此，政府、

技术研发机构及国际标准组织可能会合作建立一套全面的

安全评估框架，涵盖风险量化、透明度标准和数据管理等关

键方面。此框架旨在指导各国在推动技术创新的同时，有效

防控可能出现的风险，以达成技术发展与安全保障的平衡。

2.探讨构建人工智能安全治理的国际框架

人工智能技术的跨国应用特性导致单一国家的治理手

段难以全面应对潜在风险。为此，建立国际一致的人工智能

治理框架已成为应对人工智能安全挑战的当务之急[5]。本

次峰会将不仅停留在抽象原则的讨论层面，而是着重讨论具

体、可操作的治理机制，推动跨国合作。

主要参与方将在峰会上提出各自治理主张，其中一个重

要议题是如何协调这些主张以实现一致标准。例如，会议或

将推进人工智能生成内容的统一标识标准，使得人工智能生

成内容能在发布时被以统一规格明确标记，便于用户辨别其

来源，从而提高透明