可信AI操作指引.pdf

可信 AI 操作指引 （2020 年2 月26 日版） 1 前言 人工智能 （AI）技术和应用的发展正在呈现加速趋势， 在大力推动经济社会创新发展的同时，人工智能暴露出错误 模糊、偏见歧视、人为操控等普遍性问题，人工智能信赖问 题也日益受到重视。为进一步落实《人工智能行业自律公约》 文件要求，构建健康的人工智能产业发展环境，中国人工智 能产业发展联盟特组织开展可信 操作指引的编写工作。 AI 2 适用范围 本文件规定了可信AI 的概念，详细阐述了可信AI 的基 本要求和实践指引，旨在为人工智能产业健康发展提供参考。 本文件在现阶段适用于AI 系统提供方，主要是指研究、 设计、制造、运营和服务人工智能系统的企业、高校、科研 院所、行业组织、个人以及其他实体。 3 概念 本文件中所指的“可信AI”，即人工智能在技术、应用、 运营、管理等方面，应能遵循以人为本、公平公正、增进民 生福祉、防止危害社会、避免侵犯公众利益和个人合法权益 的总原则，并能够满足 《人工智能行业自律公约》中可靠可 控、透明可释、保护隐私、明确责任、多元包容的基本要求。 当前，本文件中所指的“可信AI”聚焦于人工智能系统， 即 “可信的人工智能系统”。 1 4 基本要求 可信AI 应满足可靠可控、透明可释、保护隐私、明确 责任、多元包容等五项基本要求。 本文件目前对于所有 系统给出了总体的基本要求和 AI 操作指引内容，但不同应用领域或场景下，AI 系统对于同一 特性的要求程度或等级是不同的，例如自动驾驶应用需要比 日常生活娱乐应用具有更高的安全性要求。因此，建议AI 系统提供方可针对不同的应用领域或场景，参考本文件的内 容做出具有针对性的实践操作。 具体内容如下： 4.1 可靠可控 确保人工智能系统在其整个生命周期内安全、可靠、可 控地运行。评估系统自身安全和潜在风险，不断提高系统的 成熟度、稳健性和抗干扰能力。确保系统可被人类监督和及 时接管，避免系统失控的负面影响。 4.1.1 系统安全性 ） 系统提供方宜在四个关键环节——数据输入 传感 1 AI ( 器 、数据预处理、机器学习模型和输出，落实安全保障措施。) 对于 系统输入环节的常规信道攻击 重放攻击 、  AI ( ) 传输信道攻击和侧信道攻击等传感器欺骗手段，AI 系统提供方可以采取传感器增强 忽略相应的攻击频( 段 、输入滤波等措施来检测破坏恶意构造的攻击信) 息实现对系统输入环节的安全增强。, 2 对于 系统数据预处理环节的插值算法逆向、轮询  AI 推测还原等重采样攻击手段， 系统提供方可以采 AI 取对输入预处理引入随机化或者重采样质量监测方 法来增大攻击难度。 对于 系统机器学习模型训练时的数据投毒，可以  AI 采取鲁棒性机器学习、数据清洗等方法，使污染数据 和正常数据产生分布差异；对于 系统训练后产生 AI 的模型后门，可以采取检测还原后门、输入过滤、神 经元剪裁等后门去除策略；对于 系统模型的对抗 AI 样本攻击，可