面向深度学习模型的可靠性测试综述.pdfVIP

第9卷第1期信息安全学报Vol.9No.1

2024年1月JournalofCyberSecurityJanuary2024

面向深度学习模型的可靠性测试综述

111,21,21

陈若曦,金海波,陈晋音,郑海斌,李晓豪

1浙江工业大学信息工程学院杭州310023

2浙江工业大学网络空间安全研究院杭州310023

摘要深度学习模型由于其出色的性能表现而在各个领域被广泛应用,但它们在面对不确定输入时,往往会出现意料之外的错

误行为,在诸如自动驾驶系统等安全关键应用,可能会造成灾难性的后果。深度模型的可靠性问题引起了学术界和工业界的广

泛关注。因此,在深度模型部署前迫切需要对模型进行系统性测试,通过生成测试样本,并由模型的输出得到测试报告,以评估

模型的可靠性,提前发现潜在缺陷。一大批学者分别从不同测试目标出发,对模型进行测试,并且提出了一系列测试方法。目前

对测试方法的综述工作只关注到模型的安全性,而忽略了其他测试目标,且缺少对最新出版的方法的介绍。因此,本文拟对模型

任务性能、安全性、公平性和隐私性4个方面对现有测试技术展开全方位综述,对其进行全面梳理、分析和总结。具体而言,首

先介绍了深度模型测试的相关概念;其次根据不同测试目标对79篇论文中的测试方法和指标进行分类介绍;然后总结了目前

深度模型可靠性测试在自动驾驶、语音识别和自然语言处理三个工业场景的应用,并提供了可用于深度模型测试的24个数据

集、7个在线模型库和常用工具包;最后结合面临的挑战和机遇,对深度模型可靠性测试的未来研究方向进行总结和展望,为构

建系统、高效、可信的深度模型测试研究提供参考。值得一提的是,本文将涉及的数据集、模型、测试方法代码、评价指标等

资料归纳整理在/Allen-piexl/Testing-Zoo,方便研究人员下载使用。

关键词深度学习模型;深度测试;可靠性;安全性;公平性;隐私性

中图法分类号TP391DOI号10.19363/J.10-1380/tn.2024.01.03

DeepLearningTestingforReliability:ASurvey

111,21,21

CHENRuoxi,JINHaibo,CHENJinyin,ZHENGHaibin,LIXiaohao

1Colleg