信息技术 第二册（五年制高职）教案 深度伪造.doc

PAGE

PAGE1

7.3深度伪造

深度伪造（deepfake）是一种利用人工智能技术制作的虚假视频、音频或图像的技术。目前，深度伪造技术已被用于影视制作等各种场景，但同时引发了人们对其可能被滥用于恶意目的的担忧，如传播错误信息和操纵舆论。目前，人工智能生成的虚假音视频已经能够达到以假乱真的地步，成功实施的欺骗案例日渐增多。面对这一情形，各国已从立法、技术手段加以应对。

深度伪造的起源与发展

深度伪造这一概念最早出现在2016年，一开始专指基于深度学习的人像合成技术，现在这一概念已经扩展到视频伪造、声音伪造、文本伪造和微表情合成等多模态合成技术，如图1所示。

图1深度伪造样例

当下，专业生成式人工智能模型能够通过用户输入的图像和文字生成以假乱真的图像。生成式人工智能的进步对深度伪造技术领域具有重大影响，因为它可能有能力生成与现实难以区分的高度可信的假视频、图像和音频。这可能会使识别和防止深度伪造内容传播变得更加困难。

2023年5月，一张五角大楼爆炸的人工智能伪造图片在网络上广泛传播，如图2所示。可见，政治相关的伪造图片容易产生较高的热度，未来可能进一步成为人工智能造假的重灾区。

图2伪造的“五角大楼爆炸”图片

深度伪造安全问题引发重视，各国纷纷出台相关政策

深度伪造可能被用于制作虚假信息，对社会安全构成了多方面的威胁，因此引发了各经济体重视。中国、美国和欧盟等经济体已推出相关政策措施来应对深度伪造风险。

中国方面，2021年起，国家网信办、国家发改委、教育部、科技部、工信部、公安部、市场监管总局、广电总局等有关主管部门已出台《互联网信息服务算法推荐管理规定》《互联网信息服务深度合成管理规定》和《生成式人工智能服务管理暂行办法》等法律法规，对计算机合成内容进行管控。《互联网信息服务算法推荐管理规定》要求对算法生成合成的信息做显著标识，并要求提供互联网新闻信息服务的算法推荐服务提供者和使用者，不得生成合成虚假新闻信息。《互联网信息服务深度合成管理规定》则更加细致地规定了包括智能对话、智能写作、人脸生成、人脸操控、姿态操控等具有生成或显著改变信息内容功能的深度合成服务应当遵守的要求，包括以显著标识的形式向公众提示。2023年7月发布的《生成式人工智能服务管理暂行办法》进一步对生成式人工智能的开发与使用等进行规范，旨在促进生成式人工智能健康发展和规范应用。

美国方面，仅在2022年，美国就发生了240万起人工智能相关诈骗案。美国加强了立法监管，提出了《诚实广告法案》（HonestAdsAct）、《人工智能披露法案》(TheAIDisclosureAct)等。

欧盟方面，欧盟于2022年6月更新《反虚假信息行为准则》（CodeofPracticeonDisinformation），要求社交媒体公司从其平台上删除深度伪造和其他虚假信息，否则将处以高达公司全球营收6%的罚款。欧盟《数字服务法》(TheDigitalServicesAct，DSA)也要求平台展示举报和删除非法内容的机制。

深度伪造治理面临的挑战

深度伪造技术的发展引发了长期的动态博弈，这使得识别真实和虚假内容变得愈发困难。需要长期思考和探索如何防止这种技术的滥用。

（1）监管和立法有待进一步加强

治理深度伪造技术的前提是对人工智能技术进行合理、有效的监管。当前，全球主要经济体和联合国已充分认识到监管人工智能的重要性。截至2023年，我国已前瞻性出台相关法律法规；美国政府正听取多方意见，酝酿人工智能监管立法，并同意应建立人工智能监管机构；欧盟出台人工智能监管临时政治协议，并就《人工智能法案》（TheAIAct）进行谈判；联合国表态支持建立一个类似于国际原子能机构的国际人工智能监管机构。面向未来风险的治理，需要长远考量如何监管和解决与人工智能技术相关的潜在风险，让技术更好地为创新和生产力提升所用，需要通过法律法规来为人工智能的发展和应用设置安全底线。

（2）监管科技亟待进步

在完善监管政策的同时，监管者也需要利用更好的工具来检测和防止深度伪造。人工智能工具不断增强的模态识别能力有望为监管打造强有力的技术工具。例如，运用图像处理技术、多模态分析技术、建立深度伪造数据集、使用防伪技术，都能在一定程度上有效地检测深度伪造。当前，换脸视频、机器写作等大多数的深度伪造内容都是较为粗糙、容易被检测出来的，但深度伪造技术也在不断发展，未来将更加难以识别。因此，对抗深度伪造需要持续的研究和技术创新。

（3）深度伪造与识别将是长期动态博弈

深度伪造的传播和识别，将始终像“猫追老鼠”一样，是一个不断发展、制衡的过程。不能“一刀切”式地禁用深度伪造技术，否则将极大影响技术创新和应用拓展。一方面，深度伪造技术的提供者和使用者应树立责任意识。202