人工智能安全框架下信息安全防护机制的探索.pdfVIP

数据要素DataElements

人工智能安全框架下信息安全防护机制的探索

文◆公安部第三研究所 山东大学 张少昌

引言应对突发威胁，各要素协同作用，为人工智能的安全应用筑牢基础[1]。

人工智能作为当今科技领域

的核心驱动力之一，正以前所未2人工智能应用中的信息安全风险

有的速度改变着人们的生活。从2.1数据隐私泄露风险

智能语音助手到自动驾驶汽车，在人工智能系统的数据收集过程中，存在未经授权收集数据、收

从医疗诊断辅助系统到金融风险集数据范围过大或数据来源不合法等问题。一些移动应用在用户不知情

预测模型，人工智能的应用场景的情况下收集大量个人信息，包括位置信息、通讯录信息等，这些信息

无处不在。然而，这种广泛应用存在被用于非法活动的风险[2]。此外，在物联网环境中，各种智能设备

也伴随着严峻的信息安全挑战。持续收集数据，但设备的安全防护能力参差不齐，容易导致数据在收集

此外，人工智能算法本身也存在源头就被窃取。同时，数据存储环节面临着存储设备安全漏洞、数据加

安全隐患。算法偏见会导致不公密不足等风险。如果存储设备被黑客攻击，且数据未进行有效的加密处

平的决策，如在招聘、信贷审批理，那么黑客将轻易获取大量敏感数据。

等领域对特定群体产生歧视性结2.2算法偏见与可解释性问题

果。面对日益严峻的信息安全问人工智能算法的偏见主要源于训练数据的偏差以及算法设计本身的

题，构建完善的信息安全防护机缺陷。如果训练数据存在偏向性，且数据集中在某些群体的样本数量过

制成为人工智能发展的当务之急。少或数据质量不高，那么训练得到的算法会对这些群体产生不公平的对

待。在人脸识别算法中，如果训练数据主要来自白人，那么该算法在识

1人工智能安全框架概述别其他少数族裔时会出现较高的错误率。此外，算法设计过程中的一些

人工智能安全框架是一套假设和简化也会导致偏见的产生，如在信用评估算法中，将某些地区或

全面且系统的规范体系，用于保职业作为风险评估的重要因素，对来自这些地区或从事这些职业的人群

障人工智能系统全生命周期的安产生歧视性结果。

全稳定运行，其涵盖多方面关键2.3恶意攻击与对抗样本

要素。在架构设计上，采用分层隔恶意攻击类型主要包含数据投毒、模型窃取和对抗样本攻击。攻

离、冗余容错等技术确保系统结构击者在训练数据中注入恶意数据，破坏人工智能系统的训练过程，使训

稳固。在数据层面，运用加密算法练得到的模型偏离正常预期。在垃圾邮件检测系统的训练数据中添加大

与隐私保护技术维护数据安全。在量伪装成正常邮件的垃圾邮件数据，导致模型在检测垃圾邮件时准确率

算法方面，结合公平性检测、可大幅下降。同时，攻击者试图获取人工智能模型的参数或结构信息，复

解释性增强以及鲁棒性提升来降制或利用该模型进行非法活动。对云服务上的人工智能模型进行多次查

低风险。此外，还包括实时监测询，分析查询结果推断模型的内部结构和参数，从而窃取模型。此外，

系统性能、数据流量与安全事件攻击者对输入数据进行微小的、精心设计的修改，使原本正确分类或处

以及具备应急响应流程与策略以理的样本被人工智能系统误判。在图像识别系统中，给一张正常的熊猫

【作者简介】张少昌（1994—），男，河北晋州人，本科，研究实习员，研究方向：网络安全、人工智能、信息安全。

149|2025.01

中国信息界|InformationChina

图片添加一些人眼难以察觉的噪声，就可使图像识别系统将其误判为长