TSAIAS 001-2024 神经网络分类模型鲁棒性测试方法.pdf

ICS35.020

CCSL70

SAIAS

上海市人工智能行业协会团体标准

T/SAIAS001—2024

神经网络分类模型鲁棒性测试方法

Testmethodsforrobustnessofneuralnetworkclassificationmodels

2024-08-31发布2024-09-01实施

上海市人工智能行业协会发布

T/SAIAS001—2024

目次

前言II

1范围1

2规范性引用文件1

3术语和定义1

4神经网络分类模型鲁棒性需考虑因素1

4.1模型研发和训练阶段2

4.2模型使用阶段2

5测试方法2

5.1概述2

5.2基本原则2

5.3对抗攻击测试方法2

5.4中毒攻击测试方法4

5.5后门攻击测试方法5

5.6基本指标与测试报告7

附录A（资料性）神经网络分类模型鲁棒性攻击/干扰方法8

A.1对抗攻击方法8

A.2中毒攻击方法8

A.3后门攻击方法8

附录B（资料性）神经网络分类模型测试报告模板示例9

参考文献13

I

T/SAIAS001—2024

前言

本文件按照GB/T1.1—2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定起

草。

请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。

本文件由上海市人工智能行业协会提出并归口。

本文件起草单位：上海华东电信研究院、京东科技信息技术有限公司、蚂蚁智安安全技术（上海）

有限公司、上海市人工智能行业协会、上海市质量和标准化研究院、百度（中国）有限公司、上海传之

神科技有限公司、上海人工智能实验室、上海商汤智能科技有限公司、上海淇毓信息科技有限公司、中

电金信数字科技集团有限公司、蚂蚁云科技集团股份有限公司、中国电子科技集团公司第三十二研究所、

上海工程技术大学、上海大学、上海稀宇极智科技有限公司、上海笑聘网络科技有限公司、云从科技集

团股份有限公司、迪爱斯信息技术股份有限公司、上海仪电人工智能创新院有限公司、联通（上海）产

业互联网有限公司、中远海运科技股份有限公司、中国电信股份有限公司上海分公司、立信会计师事务

所、东方财富信息股份有限公司。

本文件主要起草人：彭莉、常永波、陈俊琰、刘项杨、崔世文、孟昌华、陈曦、张正敏、谢永康、

曹东、瞿晶晶、白磊、吴庚、余佳、况文川、杨清、谢恽、谢军、张宇军、龙刚、林娇娇、魏丹、李晓

强、刘华、孔杰、高永志、何之栋、杜渂、牛红星、夏禹、刘津恺、堵炜炜、胡超、虞祝豪、王骏翔、

杨文恺、郭汉杰、蔡旻、旭东、刘志毅、张恺。

首期承诺执行单位：上海华东电信研究院、京东科技信息技术有限公司、蚂蚁智安安全技术（上海）

有限公司、上海市人工智能行业协会、上海市质量和标准化研究院、百度（中国）有限公司、上海传之

神科技有限公司、上海人工智能实验室、上海商汤智能科技有限公司、上海淇毓信息科技有限公司、中

电金信数字科技集团有限公司、蚂蚁云科技集团股份有限公司、中国电子科技集团公司第三十二研究所、

上海工程技术大学、上海大学、上海稀宇极智科技有限公司、上海笑聘网络科技有限公司、云从科技集

团股份有限公司、迪爱斯信息技术股份有限公司、上海仪电人工智能创新院有限公司、联通（上海）产

业互联网有限公司、中远海运科技股份有限公司、中国电信股份有限公司上海分公司、立信会计师事务

所、东