2024年全球AI网络安全产品洞察报告.pptx

全球AI网络安全;;;;以下是AI大模型训练数据泄露的安全风险：

1）数据泄露

AI大模型在训练过程中可能会泄露训练数据中的敏感信息。攻击者可以通过模型的输出推断出训练数据的内容，或者利用模型的漏洞获取未经授权的数据访问。例如，模型可能会在输出中无意间泄露训练数据中的个人信息或其他敏感数据。

其次，攻击者可以在不接触隐私数据的情况下，利用模型输出结果等信息来反向推导出用户的隐私数据。这种攻击可以通过模型的输出向量来恢复训练数据或者预测数据中的图像，导致用户的肖像信息或其他敏感信息被泄露。

2）数据投毒

数据投毒是AI大模型面临的一种严重的安全威胁，它涉及在训练数据集中故意引入错误或虚假的数据，以误导模型并产生错误的预测结果，从而影响模型的训练效果和最终输出，会对AI系统的可靠性、稳定性和安全性造成严重影响。

典型数据投毒的形式如下：

恶意数据注入：攻击者故意向训练数据集中注入错误或虚假的数据，以误导模型。这些数据可能包括具有误导性标签或特征的数据，导致模型学习到错误的知识。恶意数据注入是一种直接且有效的攻击手段，能够显著提高模型的错误率，影响其在实际应用中的表现。

数据篡改：攻击者篡改现有数据集中的某些数据，例如修改图像、文本或音频文件。这种攻击通常针对标签数据，通过更改标签来误导模型。数据篡改能够直接影响模型的输出结果，导致模型在各种应用场景中表现不佳。

数据污染：攻击者通过控制数据源或数据传输过程，使数据集受到污染。这种污染可能包括注入恶意数据、数据损坏等。数据污染是一种隐蔽的攻击手段，能够在模型训练过程中不被察觉，但其影响可能在模型部署和运行时显现。

3）数据版权

根据《生成式人工智能服务安全基本要求》，人工智能的训练数据主要来源于开源语料、自采语料、商业语料、使用者输入信息语料，其可能存在大量安全风险。

开源语料：虽然开源语料的数据集公开可用，但可能包含受版权、商标、专利或其他知识产权法律保护的元素，该语料无法保证知识产权清洁性。

商业语料：是指开发者与数据提供商???订协议后获得的内容，但这部分内容通常难以追根溯源，确保每项内容都有准确授权。

自采语料：是指开发者利用爬虫技术获取的网络信息，其爬取的内容受相关网络平台政策的影响，若出于商业产品开发使用目的，则依然可能存在不正当竞争的风险。

用户输入信息语料：是指用户在使用AI大模型过程中输入的信息，其中包括个人敏感信息和公司敏感数据，被AI大模型调用后可引发严重的安全风险。;恶意AI大模型：AI大模型由于存在安全控制措施，并不能直接被用于恶意活动，但在2023年却诞生了专门被用户黑客

攻击/入侵的恶意AI大模型，包括WormGPT和FraudGPT在内的最受欢迎的黑暗聊天机器人的销售在黑暗的网络上激增。据ThreatLabz研究团队发布报告，这些恶意AI大模型使用门槛低，功能十分齐全，可以用于创建，测试一下或优化任何种类的恶意代码，包括恶意软件和勒索软件等。;通用AI大模型在网络安全行业也有广泛的应用。例如蚂蚁集团AI大模型可应用于威胁识别、态势感知、风险评分、恶

意检测等方向，提升网络网络空间智能安全整体防护水平。

政策法规层面，目前各国政府对AI安全的重视程度不断提高，出台了一系列法规和标准，促进了AI在网络安全领域的应用。中国2023年10月发布《生成式人工智能服务管理暂行办法》，这也是中国针对生成式AI服务的首个法规，要求生成式人工智能提供商在提供面向公众的服务时必须获得许可。该办法旨在规范生成式AI服务，保护用户隐私和数据安全。

美国在2023年1月发布了《人工智能风险管理框架》，旨在对人工智能系统全生命周期实行有效的风险管理。该框架将可信度考量纳入设计、开发、使用和评估AI产品、服务和系统中，并基于其他机构的AI风险管理工作，确保制定过程的公开、透明。

2024年8月，欧盟《人工智能法案》将正式生效。这是全球首个全面监管人工智能的法案，旨在实现与《通用数据保护条例》（GDPR）相同的“布鲁塞尔效应”。该法案对人工智能系统进行了分类，并根据风险等级制定了相应的监管要求。;;;;;;;;;;;