T_SAIAS 001-2024 神经网络分类模型鲁棒性测试方法.docx

ICS35.020

CCSL70

SAIAS

上海市人工智能行业协会团体标准

T/SAIAS001—2024

神经网络分类模型鲁棒性测试方法

Testmethodsforrobustnessofneuralnetworkclassificationmodels

2024-08-31发布2024-09-01实施

上海市人工智能行业协会发布

T/SAIAS001—2024

I

目次

前言 II

1范围 1

2规范性引用文件 1

3术语和定义 1

4神经网络分类模型鲁棒性需考虑因素 1

4.1模型研发和训练阶段 2

4.2模型使用阶段 2

5测试方法 2

5.1概述 2

5.2基本原则 2

5.3对抗攻击测试方法 2

5.4中毒攻击测试方法 4

5.5后门攻击测试方法 5

5.6基本指标与测试报告 7

附录A（资料性）神经网络分类模型鲁棒性攻击/干扰方法 8

A.1对抗攻击方法 8

A.2中毒攻击方法 8

A.3后门攻击方法 8

附录B（资料性）神经网络分类模型测试报告模板示例 9

参考文献 13

T/SAIAS001—2024

II

前言

本文件按照GB/T1.1—2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定起草。

请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。本文件由上海市人工智能行业协会提出并归口。

本文件起草单位：上海华东电信研究院、京东科技信息技术有限公司、蚂蚁智安安全技术（上海）有限公司、上海市人工智能行业协会、上海市质量和标准化研究院、百度（中国）有限公司、上海传之神科技有限公司、上海人工智能实验室、上海商汤智能科技有限公司、上海淇毓信息科技有限公司、中电金信数字科技集团有限公司、蚂蚁云科技集团股份有限公司、中国电子科技集团公司第三十二研究所、上海工程技术大学、上海大学、上海稀宇极智科技有限公司、上海笑聘网络科技有限公司、云从科技集团股份有限公司、迪爱斯信息技术股份有限公司、上海仪电人工智能创新院有限公司、联通（上海）产业互联网有限公司、中远海运科技股份有限公司、中国电信股份有限公司上海分公司、立信会计师事务所、东方财富信息股份有限公司。

本文件主要起草人：彭莉、常永波、陈俊琰、刘项杨、崔世文、孟昌华、陈曦、张正敏、谢永康、曹东、瞿晶晶、白磊、吴庚、余佳、况文川、杨清、谢恽、谢军、张宇军、龙刚、林娇娇、魏丹、李晓强、刘华、孔杰、高永志、何之栋、杜渂、牛红星、夏禹、刘津恺、堵炜炜、胡超、虞祝豪、王骏翔、杨文恺、郭汉杰、蔡旻、旭东、刘志毅、张恺。

首期承诺执行单位：上海华东电信研究院、京东科技信息技术有限公司、蚂蚁智安安全技术（上海）有限公司、上海市人工智能行业协会、上海市质量和标准化研究院、百度（中国）有限公司、上海传之神科技有限公司、上海人工智能实验室、上海商汤智能科技有限公司、上海淇毓信息科技有限公司、中电金信数字科技集团有限公司、蚂蚁云科技集团股份有限公司、中国电子科技集团公司第三十二研究所、上海工程技术大学、上海大学、上海稀宇极智科技有限公司、上海笑聘网络科技有限公司、云从科技集团股份有限公司、迪爱斯信息技术股份有限公司、上海仪电人工智能创新院有限公司、联通（上海）产业互联网有限公司、中远海运科技股份有限公司、中国电信股份有限公司上海分公司、立信会计师事务所、东方财富信息股份有限公司。

T/SAIAS001—2024

1

神经网络分类模型鲁棒性测试方法

1范围

本文件提出了神经网络分类模型鲁棒性需考虑的因素，并提供了神经网络分类模型鲁棒性测试方法。

本文件适用于神经网络分类模型鲁棒性测试评估系统。

2规范性引用文件

下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。

GB/T41867-2022信息技术人工智能术语

3术语和定义

GB/T41867-2022界定的以及下列术语和定义适用于本文件。3.1

神经网络分类模型neuralnetworkclassificationmodel

向给定的神经网络输入数据，输出其所属的一个或多个类别的机器学习模型。3