机器学习算法安全评估指标体系、安全风险、对抗样本攻击.pdfVIP

GB/TXXXXX—XXXX 附 录 A （规范性） 机器学习算法安全评估指标体系 附录A给出了机器学习算法安全细粒度的评估指标体系，可针对不同应用场景的机器学习算法开展 相关评估活动。 该指标体系由“属性—指标”两层组成，其中属性包括保密性、完整性、可用性、可控性、鲁棒性、 隐私性等，由各属性对应的评估指标组成评估指标体系，以下给出了评估指标描述和细分项列表。 在实施评估过程中，应根据不同机器学习技术发展的成熟度和不同应用领域的安全需求选取相应的 指标，并确保应用目标和使用方式符合国家法律法规、行业监管政策、标准规范以及伦理要求。 A.1 保密性指标 保密性指标用于评估机器学习算法生命周期各阶段的保密性，包括但不限于： a) 数据保密性指标：评估未被授权者利用梯度信息、机器学习系统输出等信息，通过逆向工程等 技术手段窃取机器学习相关数据的风险，包括训练数据保密、运行数据保密及抵御成员推理攻 击的能力等，涉及数据传输、存储、计算、汇聚的保密性，个人信息保护及密钥安全等方面； b) 模型保密性指标：评估模型的保密性，通过对被测系统持续访问，推测机器学习模型的参数或 功能，判断所窃取或推断的训练数据与原数据的相似度； c) 系统信息保密性指标：评估机器学习算法生命周期各阶段，软硬件依赖信息被窃取或非授权访 问的情况。 序 指标类 测试 类 测试子项检测目标 测试方法 测量值说明 号 别 子项 型 以查询次数为x轴，以仿 相 似 度 越 通过梯度信息、成员 训 练 制训练数据和被仿制训 高，攻击成 推理等方式，所窃取 必 1 数 据 练数据的相似度偏差比 功率越高， 的训练数据与原数据 选 保密 例为y轴绘制的曲线，使 则安全性越 的相似度 用1-相似度计算 低 成 员 推 理 针对一组测试样本， 针对一组测试样本，推断 比例越低， 必 2 攻 击 推断其属于训练数据 其属于训练数据集的比 则安全性越 选 数据保 成 功 集的比例 例 好 密性指 率 标 以查询次数为x轴，以仿 相 似 度 越 通过机器学习系统输 运 行