人工智能安全趋势研究报告.docx

本期主题

□人工智能安全趋势研究

『所长导读』

近年来，随着人工智能技术的快速迭代与深度应用，其对社会经济和日常生活的变革性影响日益显现。然而，与技术进步相伴的是日趋复杂的安全挑战。如何在推动技术创新的同时，确保人工智能系统的安全、可靠和可控，成为当前全球科技发展的核心议题。

本期《人工智能安全趋势研究》从供应链、数据、算法、应用和伦理五个层面梳理了人工智能的安全风险，分析了高端芯片断供、数据泄露、对抗性攻击、深度伪造以及伦理困境等问题对人工智能技术发展的潜在威胁。同时，介绍了机密人工智能、联邦学习、对抗性机器学习、AIGC检测、可解释人工智能等技术解决方案，并展望了人工智能安全测评的发展方向。此外，针对我国实际情况，报告提出了完善人工智能治理体系、加快关键技术研发、推动人工智能安全标准建设以及加强公众教育等具体建议，助力我国人工智能实现安全、可持续的高质量发展。

在当前人工智能技术加速融入社会经济各领域的背景下，推动人工智能安全发展不仅关乎技术本身，更是构建和谐社会、维护公平秩序的重要前提。希望本期内容能为政府部门、企业机构和社会组织提供参考和借鉴，并欢迎各界读者不吝赐教。

赛迪研究院网络安全研究所所长温晓君

2024年12月15日

目录

目录

CONTENTS

一、人工智能安全… 1

（一）人工智能内生安全 1

（二）人工智能衍生安全 2

二、人工智能安全风险分析… 2

（一）供应链安全 2

（二）数据安全 4

（三）算法安全 5

（四）应用安全 6

（五）伦理安全 8

三、人工智能安全解决方案和技术趋势… 10

（一）数据安全与隐私保护 10

（二）算法安全与模型防护 13

（三）人工智能生成内容检测和溯源 15

（四）人工智能透明度和信任构建 17

四、人工智能安全测评趋势 21

（一）人工智能安全测评标准 21

（二）人工智能安全测评平台和工具 22

（三）人工智能安全测评未来展望 23

五、促进我国人工智能安全发展的对策建议… 24

（一）构建多层次的人工智能安全治理体系 24

（二）加快技术研发与自主生态建设 25

（三）完善人工智能安全标准与测评体系… 26

（四）加强伦理引导与公众教育 27

本期主题：

人工智能安全趋势研究

一、人工智能安全

人工智能作为引领科技革命和产业变革的核心技术，已经深刻改变了社会各领域的运作模式。从20

世纪50年代人工智能概念的提出，

到21世纪初机器学习的兴起，再到近几年深度学习和大模型的迅猛发展，人工智能在语音识别、图像处理、智能驾驶等多个领域取得了显著成果。尤其是ChatGPT、Sora等大模型的广泛应用，使得人工智能逐步渗透到人们的日常生活与工作中。然而，随着人工智能技术的普及化与复杂化，其安全问题日益凸显。一旦人工智能系统被滥用、误用或发生故障，不仅可能带来经济损失，还可能对社会秩序、伦理道德乃至国家安全构成威胁。因此，全球各国逐渐将人工智能安全作为重要议题，开展相关研究与政策制定。

人工智能安全可分为人工智能

内生安全（AISecurity）和人工智能衍生安全（AISafety）。内生安全指的人工智能系统自身存在的脆弱性，可能导致系统运行出现问题，无法达到预设的功能目标。这往往源于新技术的不成熟，或是技术自身的天然缺陷。衍生安全则是指人工智能技术的脆弱性被利用，虽然其自身能够正常运行，但是危及其他领域的安全。这两方面共同构成了人工智能安全的核心内容，决定了人工智能技术能否在安全、可靠、可控的前提下持续健康发展。

（一）人工智能内生安全

人工智能内生安全包括供应链安全、数据安全、算法安全三个层面。

供应链安全：人工智能供应链安全是指在人工智能供应链的整个生命周期中，确保所涉及的训练框架、第三方库、操作系统、数据库、芯片、云服务等软硬件和服务的安

全性、完整性和可靠性。

数据安全：人工智能数据安全是指通过采取必要措施，确保人工智能系统使用的数据得到有效保护，并且合法、安全地被利用，同时具备持续保障数据安全状态的能力。

算法安全：人工智能算法安全是指在整个人工智能系统的设计、开发、部署和使用过程中，确保算法的公正性、透明性、鲁棒性和抗攻击能力，同时采取必要措施保护算法免受未经授权的访问和篡改，以及确保算法的决策过程和结果合法、合规。

（二）人工智能衍生安全

人工智能衍生安全包括应用安全和伦理安全两个层面。

用安全：人工智能应用安全是指确保人工智能应用在实际操作中的安全性和可靠性，防止其被滥用或误用，保障应用的输出和行为符合预期。

伦理安全：人工智能伦理安全是指在人工智能系统的整个生命周期中，确保其设计和行为遵循以人为本的原则，尊重并保护个人权利，促进社会价值和公共利益，同时避

免产生不公平、歧视或责任