基于特征融合与对抗学习的图像开集识别方法研究.pdf

基于特征融合与对抗学习的图像开集识别方法研究

摘要

深度学习在图像识别方面取得了先进的性能，但是大多数图像识别算法在标签数据

有限的条件下学习，实际测试任务需要在开放的大量数据中识别目标。因此，识别开放

性的数据集比识别一组闭集的数据更困难，它不仅需要模型来确定已知类别的分类准确

性，还需要模型来对未知类别进行判定。虽然现有的大多数方法已经取得了很好的效果，

但是实际场景存在已知类与未知类具有相似潜在特征表示的分布内情况，使得有些开集

识别方法的弊端逐渐显现。本文提出了一种基于特征融合与对抗学习的图像开集识别方

法，引入了监督对抗式学习方法，并结合极值模型来识别开放数据集中的已知类和未知

类，主要的贡献总结如下：

（1）针对已知类样本的潜在特征空间分布不完善导致开集识别鲁棒性不足的问题，

本文提出基于多层特征融合的图像开集识别方法。在编码器与解码器端到端网络的基础

上，改进特征提取和解码融合方式，在编码器特征提取阶段，提取主干网络中较深的三

层特征，并构建分支网络对三层特征进行进一步特征提取。通过解码器对网络层的不同

特征进行解码并融合，在一定程度上完善目标的潜在空间分布，最后利用解码误差和极

值模型识别未知类。在已知类分类方面，提出了一种基于参数共享的特征矫正训练策略

来对输入到解码器的多层特征同时利用分类损失函数进行矫正训练，使得最后编码器输

出的特征既提高算法对于已知类的识别准确率，又不影响对未知类的识别。

（2）针对尿沉渣图像中已知类细胞与未知类杂质较相似的图像分布内开集识别问

题以及模型训练收敛速度慢等问题，本文提出基于对抗学习的图像分布内开集识别方法。

首先，高斯径向基解码网络能够逼近本文的解码损失函数，加快网络学习的收敛速度。

然后，利用对抗损失函数来学习解码误差，并通过奇异值平衡加权处理的方式对靠近决

策边界的样本进行大量优化，将解码误差空间中的已知类与未知类分开，最后通过极值

模型获得更好的分离效果。

（3）本文在多个常用公开图像识别数据集上进行了实验验证多层特征融合的图像

开集识别方法，并将多层特征融合方法应用于尿沉渣图像分布内开集识别任务，在此基

础上改进出基于对抗学习的图像分布内开集识别方法。本方法实现的效果为在开集状态

下对疾病诊断的必要细胞进行分类，将与有效细胞具有相似潜在特征分布的杂质统一识

别为未知类。将本文方法与其他开集识别方法进行比较，实验结果表明，本文方法在图

哈尔滨工程大学硕士学位论文

像开集识别任务上的性能更好。

关键词：开集识别；深度学习；多层特征融合；高斯径向基解码网络；对抗学习

基于特征融合与对抗学习的图像开集识别方法研究

ABSTRACT

Deeplearninghasachievedadvancedperformanceinimagerecognition,butmostimage

recognitionalgorithmslearnunderlimitedlabeldataconditions,andactualtestingtasksrequire

identifyingtargetsinopenlargeamountsofdata.Therefore,identifyingtheopennessofa

datasetismoredifficultthanidentifyingasetofcloseddata.Itrequiresnotonlyamodelto

determinetheclassificationaccuracyofknowncategories,butalsoamodeltodetermine

unknowncategories.Mostexistingmethodshaveachievedgoodresults,butinactualscenarios,

thereareintradistributionsituationswhereknownandunknownclasseshavesimi