面向零样本图像分类的交互式类属性构建方法.pdfVIP

第37卷第2期计算机辅助设计与图形学学报Vol.37No.2

2025年2月JournalofComputer-AidedDesignComputerGraphicsFeb.2025

面向零样本图像分类的交互式类属性构建方法

刘真,徐景胜,颜菁,徐润森,吴向阳*

(杭州电子科技大学计算机学院杭州310018)

(wuxy@)

摘要:零样本图像分类解决了训练和测试数据类别不相交的问题,人类标注属性是一种常用的实现零样本图像分

类的辅助知识.为协助专家设计类属性矩阵,提出了一种交互式构建方法,简化了烦琐且缺乏指导的流程.首先,通

过一种基于概念的深度学习可解释性方法,在训练集图像数据中提取出可理解的属性信息;然后,采用多视图协作

的交互方式,探索和分析已提取属性的重要性.系统提供了全局和局部2种方式,辅助用户设计测试集数据类别的属

性值;最后,通过在数据集AnimalswithAttributes2上进行的案例分析,以及采用李克特量表的用户评估实验,验证

了设计方法的有效性和实用性,可以帮助专家用户高效且便捷地完成类属性构建工作.

关键词:零样本学习;零样本图像分类;可视分析;可解释人工智能;人机协作

中图法分类号:TP391.41DOI:10.3724/SP.J.1089.2023-00349

InteractiveClassAttributeConstructionMethodforZero-ShotImageClassification

*

LiuZhen,XuJingsheng,YanJing,XuRunsen,andWuXiangyang

(SchoolofComputerScience,HangzhouDianziUniversity,Hangzhou310018)

Abstract:Zero-shotimageclassificationaddressestheproblemofnon-overlappingcategoriesbetweentraining

andtestingdata.Human-annotatedattributesareacommonlyusedformofauxiliaryknowledgeinzero-shotim-

ageclassification.Toassistexpertsindesigningclassattributematrices,aninteractiveconstructionmethodis

proposed,simplifyingthetediousandunguidedprocess.First,understandableattributeinformationisextracted

fromthetrainingdatasetimagesusingaconcept-baseddeeplearningexplainabilitymethod.Then,aninteractive

approachinvolvingmulti-viewcollaborationisemployedtoexploreanda