生成式人工智能滥用恶用的安全威胁及对策建议研究.pdfVIP

生成式人工智能滥用恶用的安全威胁及对策建议研究

时间：2024-02-23

以ChatGPT为代表的生成式人工智能（AIGeneratedContent,AIGC）给人类社会带

来了巨大的技术红利，为第四次工业革命提供了新动能。但也逐渐暴露出一系列安全风

险。尤其是2022年下半年以来，暗网涌现出WormGPT、PoisonGPT、EvilGPT等一批恶意人

工智能大模型，给AIGC的安全治理带来了新的严峻挑战，亟待未雨绸缪加强治理。

一、生成式人工智能滋生了恶意大模型的新威胁

生成式人工智能滋生了一批恶意人工智能大模型。恶意人工智能大模型是指由非法组

织或不法分子操纵，借助开源模式模仿ChatGPT等合法模型，基于有害语料库训练而生滋

生的、专门用于网络犯罪、诈骗等非法行为的一类非法大模型。恶意大模型与人工智能

的滥用还不尽相同，其产生的直接目的就是用于各类非法行为，主要运行于暗网，具有

更强的隐蔽性、危害性，形成了“人工智能+犯罪”新治理挑战，对国家安全、行业创

新、生产生活等方面造成危害。

（一）对维护国家安全提出新挑战

滥用恶用AIGC给国家政治和军事带来了新的安全挑战。一是在意识形态安全方面，

AIGC在数据投喂、算法