AI模型安全可信性关键技术与测评方法研究.pdfVIP

编辑丨舒文谅shuwenqiong@Technology技术

AI模型安全可信性关键技术

与测评方法研究

■中国信息通信研究院郭舂颖

、i/■前,数字时代快速发展，人工智能技术引领科技创新浪OpenAI发布的报告显示，Redis(远程字典服务）的开源库

3潮，其中被视为人工智能重大突破的大模型技术，让人漏洞导致ChatGPT发生故障和数据泄露，造成部分用户可以

工智能领域迎来了发展拐点。随着深度学习的推进和硬件计看见其他用户的个人信息和聊天内容。与此同时，自三星电子

算能力的提升，大模型在自然语言处理、计算机视觉、语音识允许部分半导体业务员工使用ChatGPT开始，短短20天内有

别等领域表现卓越；与此同时，适用于特定行业、特定领域的三起机密资料外泄事件发生。

专用模型（如医疗影像诊断模型、金融风控模型、法律文档分因此，探讨AI模型安全可信性关键技术和测评方案的紧

析模型等）也发挥着越来越重要的作用。然而，随着AI模型的迫性和重要性不言而喻。

广泛应用，无论是大语言模型还是专用模型，都面临着网络攻

击、隐私泄露、内容合规等安全风险和可信问题。为此，我国AI模型安全可信性关键技术

提出要加强人工智能潜在风险的研判和防范，维护人民利益

随着人工智能与人们日常生活联系的日益紧密，确保AI

和国家安全，确保人工智能安全、可靠、可控。

模型的安全性和可靠性成为研究的核心议题。当前的研究重

本文针对当前人工智能快速发展带来的AI模型安全可

点在于增强AI系统的安全性与稳定性、提高决策过程的透明

信性问题和测评验证需求，研究AI模型安全、隐私保护、公平

度、保护用户隐私以及确保算法的公正性等。这些研究方向是

性、合规性等关键技术，探索AI模型安全可信性测评方案，以

构建可信赖AI体系的关键依据和重要技术要素。

构建安全可信的AI模型生态系统。

鲁棒性和安全性

AI模型的鲁棒性技术是一系列设计和训练策略，旨在提

AI模型面临的安全威胁

高模型在面对输入数据的小幅变动、噪声，甚至恶意攻击时

AI模型的发展目前进入了一个新阶段，然而随着技术和

的稳定性和正确决策能力。常用的有如下技术：数据增强，通

应用的不断演进，AI模型也面临着多重威胁。

过变换训练数据，如旋转、缩放、添加噪声等，增加数据多样

在技术层面，AI模型常依赖开源工具或平台，并集成大量

性，使模型能够学会处理各种变形；对抗训练，生成并训练模

第三方插件，这使得模型因第三方软件的不可控而变得脆弱，

型以抵御对抗性样本，即那些故意设计用来欺骗模型的输入；

容易受到攻击。同时，AI大模型的“黑箱”特性导致算法不透

选择或设计能够自然抵抗噪声和扰动的优化网络结构；使用

明，用户难以直观理解其作出决策的原因，也无法复现作出决

L1/L2正则化、Dropo