生成式人工智能虚假信息的风险与治理策略研究.pdf

传媒技术129

生成式人工智能虚假信息的风险与治理策略研究

南婷

（中国网络空间研究院，北京100048）

摘要：【目的】本文聚焦于生成式人工智能技术在信息传播领域应生衍生的虚假信息泛滥风险，探讨人工智能生成

内容（AIGC）虚假信息的治理策略，旨在为维护网络空间的信息真实性、防范AIGC虚假信息传播泛滥提供一定的

理论支持与实践指导。【方法】基于文献资料、案例分析等方法，梳理AIGC虚假信息的表现形式、主要特点、社

会成因、潜在危害、鉴别方法及未来挑战。【结果】当前AIGC虚假信息治理面临着内容真实性难以验证、技术迭

代引发治理滞后、蓄意生成虚假信息广泛传播等挑战，我国出台有关暂行管理办法从制度上予以规制，在AIGC技

术治理策略和效能上取得积极进展。与此同时，随着AIGC技术和能力的不断进化，虚假信息在传播中经历多次变

异与迭代，将变得更加难以检测和识别，将面临着危害程度进一步加剧的风险。【结论】为应对AIGC虚假信息泛

滥的潜在风险，建议从技术、法律、伦理及教育等多个维度出发，加强理论研究与实践探索，构建全方位、多层次

的保障体系，不断完善AIGC治理策略与措施。

关键词：生成式人工智能；虚假信息；AIGC；技术治理；网络治理中图分类号：G230文献标识码：A

本文编号：1671-0134（2024）08-129-05DOI：10.19483/ki.11-4653/n.2024.08.029

本文著录格式：南婷.生成式人工智能虚假信息的风险与治理策略研究[J].中国传媒科技，2024，31（8）：129-133.

近年来，人工智能生成内容（ArtificialIntelligence首先，在国家安全层面，AIGC技术滥用正成为国

GeneratedContent，AIGC）技术快速发展，以际战略安全与国家政治安全的重要威胁。例如，2022

ChatGPT、文心一言为代表的AIGC类应用知识表现专年俄乌冲突期间，俄乌双方领导人有关胜负战况表态

业、语言交互流畅、媒介输出多样、内容迭代迅速，的深度伪造视频[4]在网络上流传，加剧了冲突紧张局

在网络内容生产领域备受青睐并迅速获得广泛应用。势。2023年3月，美国前总统特朗普曾在社交媒体中

AIGC在给人们带来便利的同时，双刃剑效应同样显著，声称自己将于某日被抓捕，网上出现大量被捕地点相

催生了虚假信息生成与传播的新形态，“一本正经地关照片，后被证实系网友AI文图生成[5]。2024年初，

胡说八道”[1]“逻辑自洽但内容虚构”等问题被诟病。多人接到“假冒拜登来电”[6]要求选民延后投票，后

内容的真实性是公众判断信息价值的重要标准，AIGC经证实是AI伪造音频。虚假信息向来是国际博弈的重

虚假信息隐蔽性、迷惑性强，存在误导用户判断、扰要工具，国际行为体常常通过散布虚假信息进行信息

乱社会秩序、损害他人名誉的风险，可能加剧社会对操控，以欺骗、迷惑、震慑、分化和瓦解对手，达到“不

共享信息的不信任，乃至影响国家安全与社会稳定。战而屈人之兵”的目的。[7]AIGC虚假信息正成为政治

2024年7月18日，党的二十届三中全会通过《中共中博弈的重要工具，社交机器人的广泛应用进一步加剧

央关于进一步全面深化改革推进中国式现代化的决了虚假信息跨语言、跨平台传播。未来，AIGC虚假信

[2]

定》，明确提出要完善生成式人工智能发展和管理机制。息涉政治安全舆论事件将持续增多，对政治稳定构成

如何保障AIGC生成内容的真实性，对于当前引导人工重大挑战