用于高维小样本特征选择的超网络设计.pdfVIP

第20卷第2期智能系统学报Vol.20No.2

2025年3月CAAITransactionsonIntelligentSystemsMar.2025

DOI:10.11992/tis.202402018

网络出版地址:/urlid/23.1538.tp1643.008

用于高维小样本特征选择的超网络设计

魏俊伊，董红斌，余紫康

（哈尔滨工程大学计算机科学与技术学院,黑龙江哈尔滨150001）

摘要：特征选择是受各行业广泛关注的问题。特征选择针对的数据集通常是高维的，且样本数较少，例如生

物、医学领域的数据集。虽然很多的正则化网络在这种数据集上的表现能够优于复杂的网络，但是在小数据量

上许多潜在的特征关系仍然会被过度挖掘，从而出现过拟合的情况。为了解决此类问题，提出了端到端的稀疏

重构网络，模型先对特征进行稀有增强和奇异值嵌入，之后通过并行辅助网络对嵌入矩阵进行训练，重构预测

权重，实现了削减参数的超网络学习方式。参数较少的网络受过拟合的影响也会随之减少，有效降低了无效参

数对网络的影响。对生物、医学领域的12种高维小样本数据集进行了实验，并通过对比实验发现在8种特征

选择网络中降维后，本网络的分类准确率平均提升了3.26百分点。另外，通过消融实验分别证明了分解层、重

构层、关联层的作用，最后分析权重结果，进一步阐述了模型的扩展应用。

关键词：特征选择；正则化网络；过拟合；端到端；稀疏重构；奇异值；辅助网络；超网络；高维小样本

中图分类号：TP311文献标志码：A文章编号：1673−4785(2025)02−0465−10

中文引用格式：魏俊伊,董红斌,余紫康.用于高维小样本特征选择的超网络设计[J].智能系统学报,2025,20(2):465–474.

英文引用格式：WEIJunyi,DONGHongbin,YUZikang.Hypernetworkdesignforfeatureselectionofhigh-dimensionalsmall

samples[J].CAAItransactionsonintelligentsystems,2025,20(2):465–474.

Hypernetworkdesignforfeatureselectionofhigh-dimensional

smallsamples

WEIJunyi，DONGHongbin，YUZikang

(CollegeofComputerScienceandTechnology,HarbinEngineeringUniversity,Harbin150001,China)

Abstract:Featureselectionisawidelyrecognizedchallengeacrossvariousindustries.Theytypicallytargethigh-dimen-

sionaldatasetswithfewersamples,suchasthoseinbiologyandmedicinefield.Manyregularizationnetworksoutper-

formcomplexnetworkstructuresonsuchdatasets.However,numerousunderlyingfeaturerelationshipscanstillbe

overfitted,particularlywithlimiteddata.Th