T CITIF 012—2023 内容安全检测人工智能系统鲁棒性测评规范 第3部分：文本.pdfVIP

ICS35.240.01

CCSL80

团体标准

T/CITIF012—2023

内容安全检测人工智能系统鲁棒性

测评规范第3部分：文本

Robustnessevaluationspecificationforartificial

intelligencesystemsforcontentsecuritydetection-Part

3:Text

2023-12–22发布2023-12–22实施

中国电子信息行业联合会发布

目次

目次I

前言II

1范围1

2规范性引用文件1

3术语和定义1

4缩略语2

5文本内容安全检测人工智能系统测试样本分级2

6文本内容安全检测人工智能系统鲁棒性分级要求2

7文本内容安全检测人工智能系统鲁棒性性能测评方法3

7.1测试样本3

7.2测试流程3

7.3测试方法4

7.4综合评价方法5

附录A（资料性）违法信息和不良信息6

附录B（资料性）扰动方式示例7

参考文献8

内容安全检测人工智能系统鲁棒性测评规范第3部分：文本

1范围

本文件规定了用于检测文本内容安全的人工智能系统鲁棒性分级要求和性能测评方法。

本文件适用于第三方检验检测机构、技术生产方和技术应用方对内容安全检测人工智能系统鲁棒

性开展测试评估。

注：本文件对文本内容安全检测人工智能系统附带的语料库、知识库规模不做限制要求。

2规范性引用文件

下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文

件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适

用于本文件。

GB/T41867-2022信息技术人工智能术语

3术语和定义

GB/T41867-2022界定的以及下列术语和定义适用于本文件。

3.1

内容安全检测人工智能系统artificialintelligencesystemsforcontentsecurity

detection

使用机器学习算法自动识别图像、视频、文本、语音中的违法信息和不良信息的系统。

注：违法信息和不良信息参考附录A。

3.2

鲁棒性robustness

人工智能系统在任何情况下都保持其性能水平的特性，攻击样本的检测准确率越高，表示系统的

鲁棒性越好。

3.3

原始样本originalsample

通过对真实事物拍摄得到的测试数据。

3.4

原始无风险样本originalsamplewithoutrisk

不包含违法信息和不良信息的测试数据。

注：原始无风险样本如风景照、日常生活照等。

3.5

原始有风险样本originalsamplewithrisk

包含违法信息和不良信息的测试数据。

3.6

攻击样本attacksample

原始样本通过攻击方法处理后的测试数据。

3.7

原始样本检测准确率originalsampleaccuracyrate

正确检测原始样本数量占已检原始样本数量的比例。

3.8

攻击样本错误接受率attacksamplefalseacceptancerate

错误检测攻击样本数量占已检攻击样本数量的比例。

3.9

攻击样本检测准确率attacksampleaccuracyrate

综合评价正确检测不同等级攻击样本的概率。

4缩略语

下列缩略语适用于本文件。

OSAR：原始样本检测准确率（OriginalSampleAccuracyRate）

ASFAR：攻击样本错误接受率（AttackSampleFalseAcceptanceRate）

ASAR：攻击样本检测准确