2025机密计算保障人工智能系统安全研究报告 1.docxVIP

人工智能系统安全研究报告

2025年1月

目录

01AI安全需求与挑战02机密计算现状与趋势

03机密计算保障AI系统安全

04机密计算保障AI模型和数据安全05机密AI未来趋势展望

1AI安全需求与挑战

1、大模型时代的安全需求

u新一代AI逐渐渗透到了各行各业，在显著提高生产力和效率的同时，也带来了前所未有的安全挑战，亟需建立一个涵盖各个层次的AI安全框架，有效控制AI安全风险

数据安全01

确保AI系统中的数据在存储、传输和使用时，其机密性、完整性、可用

性不会受到泄露、篡改或恶意使用影响

02 算法安全

确保AI算法具有公正性和鲁棒性，保障决策过程与结果的合法合规，避

免受到恶意干扰

模型安全03

系统安全04

确保AI模型在开发和部署过程中的机密性和完整性，防止对AI模型的盗窃、非法复制和滥用

确保AI系统赖以运行的软硬件、服务、网络设备等基础设施的安全性，

防止未经授权的访问和篡改

系统安全是最基础和最重要的，是确保业务层安全措施得以实施的基础；《生成式人工智能服务安全基本要求》的相关要求也体现了“真正的安全要从系统层开始”这一理念

2、AI安全的主要风险和挑战

01 02 03 04

系统安全 模型安全 算法安全 数据安全

? 平台可信性风险? 内存攻击

? 存储攻击

? 侧信道攻击

? 瞬态执行攻击

? 微架构数据采样

? 框架和组件的安全漏洞? 网络攻击风险

? ……

? 模型窃取攻击? 模型后门攻击? 模型越狱攻击

? ……

? 缺乏可解释性? 对抗性攻击

? 算法的歧视偏见

? ……

? 数据投毒攻击? 梯度反演攻击? 成员推理攻击

? 用户输入数据泄露

? ……

3、AI安全现有解决思路的局限

u现有AI安全解决方案主要集中在数据安全、算法安全和模型安全三个层级，常见的措施包括模型加密、对抗样本检测、差分隐私等，一定程度上提高了安全性，但应对更复杂的安全威胁时往往显得力不从心。

01 02 03

? 越来越多企业在云服务上进行AI训练和推理

? 现有的安全解决思路通常假设云服务本身是可信的，忽视了其可能存在的风险

? 使得AI系统在云服务环境中

的安全性面临严峻挑战

? 现有方案在保护用户隐私数据传输方面存在不足，TLS协议缺少端到端的用户隐私数据保护

?用户的隐私数据可能会被不可信的AI服务获取，从而导

致敏感数据的泄露

? 在系统层面，特别是对操作系统、硬件以及云服务等关键软硬件和服务的保护上，安全性往往容易被忽略或未能得到应有的重视

? 系统层的薄弱环节可能导致

整个系统的安全性失效

2机密计算现状与趋势

1、机密计算技术原理与应用价值（1/2）

u机密计算是利用具有通用计算能力的硬件可信执行环境（TEE）来保障“使用中”的数据安全，TEE应具备可编程性，可确保数据的可用且不可见，从而保护使用中的数据并维护数据的完整性和隐私。

图机密计算与隐私计算的关系 图TEE实现方案

1、机密计算技术原理与应用价值（2/2）

机密计算为数据全生命周期提供保护

机密计算对云上用户数据提供强大的安全保障

机密计算为“使用中”的数据提供全方位安全保护

? 长期以来加密技术被用于为“传输中”数据和“静态存储”的数据提供防护，“使用中”的数据缺乏有效的保护手段，使用户数据暴露在未经授权的访问、篡改及窃取的巨大风险之下

? 机密计算全面覆盖数据生命周期的三大阶段——“传输中”、“静态存储”及“使用中”，确保数据在任何时刻都安全无虞

? 随着云计算和边缘计算的蓬勃发展，众多用户倾向于在云服务器的设备上部署工作负载，这一转变使得数据保护面临全新挑战。

? 机密计算将防护重心明确转向确保用户数据免遭任何潜在的系统控制者攻击，尽管工作负载依旧依托云上软件进行管理，但这些软件却被严格限制，无法窥视或篡改用户数据

? 任何未经授权的实体，无论是主机上的应用程序、操作系统、Hypervisor，还是系统管理员，甚至是对硬件拥有物理访问权限的其他人员，都无法窥探到在TEE和内存中的数据加密方式。这意味着，即便内存数据不幸被窃取，也绝不会发生信息泄露。

? TEE极大地增强了数据的安全性和可证明性，为用户提供了更高的信任度

032、

03

发展历程 03

02 机密计算阶段

01 TEE阶段 （2019年至今）TPM/TCM阶段 （2015-2018年）

（2003-2014年）

平台互联互通

技术路线

? 针对不同的体系架构出现了多种机密计算技术路线，x86体系相对比较成熟，ARM和RISC-V体系也正积极跟进

? 系统级TEE方案备受产业界瞩目，是未来的重要发展方向

? 不同技术路线在数据机