生成式人工智能安全风险治理研究.pdfVIP

2024年第3期学术研究Academic

生成式人工智能安全风险治理研究

文 /宋艳飞 张瑶 樊伟

摘要：当前，以ChatGPT、Sora等现象级产品为代表的生成式人工智能快速发展，正

在重塑产业链和价值链。与此同时，也在数据安全、算法安全、网络安全和应用安全等方

面引发了诸多新风险，可能造成严重影响。世界主要国家和地区高度重视生成式人工智能

安全风险治理，从政策引导、技术保障、国际合作等维度推进风险治理体系建设。科技企

业在积极推进前沿技术创新的同时，也应高度重视安全治理，从不同侧重点发力保障人工

智能可信赖、负责任。我国应从加强跟踪研究、推进技术攻关、推动“以评促建”和加强

国际交流四个维度发力，保障人工智能安全健康发展。

关键词：生成式人工智能；安全风险；安全治理；科技巨头

一、引言流等方面提出启示与建议。

近年来，生成式人工智能加速发展演进，二、生成式人工智能安全风险类型与

已经成为人工智能的主要发展方向，并广泛应现状

用于各行各业。但生成式人工智能的应用，也

带来了数据、算法、网络等领域的安全风险。随着生成式人工智能的迅猛发展与广泛应

本文以生成式人工智能为研究对象，梳理了美、用，技术产业正经历着翻天覆地的变革。然而，

欧、英、日等国家在政策引导、技术保障、国这一进步的背后也隐藏着诸多亟待解决的问题。

际合作等方面治理生成式人工智能风险的举措，生成式人工智能所固有的技术缺陷，加之社会

并总结了全球典型科技企业在体系布局、输出对其认知的不足，已经在网络安全、数据保护

服务、定期审查等方面治理人工智能安全风险和算法稳健性等方面引发了严重的风险。更为

的举措。结合研究分析，本文从加强跟踪研究、深远的是，这些风险对国家的政治稳定、军事

推进技术攻关、推动“以评促建”、加强国际交安全以及社会和谐构成了多方面的挑战。有鉴

作者简介：宋艳飞，国家工业信息安全发展研究中心高级工程师；张瑶，国家工业信息安全发展研究中心工程师；樊

伟，国家工业信息安全发展研究中心工程师。

4646

2024年第3期学术研究Academic

于此，本文旨在全面而深入地探讨生成式人工的风险。一是用户个人信息泄露。生成式人工

智能在各个领域应用中所面临的安全风险类型，智能模型可能会自动推断出用户的个人信息，

并对其当前的发展状况进行细致地分析，为研如姓名、地址、电话号码、电子邮件地址等。

究分析生成式人工智能风险治理路径提供参考。这些信息可能会被用于推销、广告和欺诈行为。

（一）数据安全风险二是社交媒体账号被盗用。用户可能会将他们

数据安全风险是指生成式人工智能技术自的社交媒体账号与生成式人工智能模型绑定，

身因数据问题造成的风险，如训练数据污染、从而导致他们的账号被恶意攻击者盗用。攻击

运行阶段的异常数据、数据信息窃取等。另一者可以利用这些账号获取更多的个人信息，甚

方面，生成式人工智能技术的应用将对数据安至使用这些信息进行欺诈或恶意行为。三是隐

全本身带来风险，如隐私泄露、增加大量虚假私照片和视频泄露。生成式人工智能模型可能

数据、数据滥用放大社会偏见等。1会自动生成用户的隐私照片和视频，并将其传

1.数据污染导致错误结论播到互联网上。这些照片和视频可能会被恶意

训