最大相关和最大差异的高维数据特征选择算法.pdfVIP

JournalofComputerApplicationsISSN1001⁃90812024⁃03⁃10

计算机应用,2024,44(3):767-771CODENJYIIDUhttp：//www.joca.cn

文章编号：1001-9081（2024）03-0767-05DOI：10.11772/j.issn.1001-9081.2023030365

最大相关和最大差异的高维数据特征选择算法

*

孟圣洁，于万钧，陈颖

（上海应用技术大学计算机科学与信息工程学院，上海201418）

（∗通信作者电子邮箱1171920149@qq.com）

摘要：针对高维数据存在冗余信息且维度过高的问题，提出基于信息量的最大相关最大差异特征选择算法

（MCD）。首先，利用互信息（MI）度量特征和标签之间的相关性，对特征进行排序，选择互信息最大的特征加入特征子

集；然后，引入信息距离度量特征之间的信息冗余性及差异性，设计评价准则对每个特征进行评价，使特征子集中特

征和标签的相关性、特征之间的差异性最大；最后，用前向搜索策略结合评价准则进行属性约简，最优化特征子集。

采用2种不同的分类器，在6个数据集上和mRMR（minimal-Redundancy-Maximal-Relevancecriterion）、RReliefF等5个

经典算法进行对比实验，利用分类精度验证MCD的有效性。在支持向量机（SVM）分类器下，平均分类精度提高了

5.67~23.80个百分点；在K-近邻（KNN）分类器下，平均分类精度提高了2.69~25.18个百分点。可见，MCD在绝大多

数情况下，能有效去除冗余特征，分类精度有明显提高。

关键词：特征选择；高维数据；特征冗余；相关性；分类准确率；降维

中图分类号：TP181文献标志码：A

Featureselectionalgorithmforhigh-dimensionaldatawith

maximumcorrelationandmaximumdifference

*

MENGShengjie，YUWanjun，CHENYing

（SchoolofComputerScienceInformationEngineering，ShanghaiInstituteofTechnology，Shanghai201418，China）

Abstract:Aimingattheproblemsofredundantinformationandtoohighdimensioninhigh-dimensionaldata，a

MaximumCorrelationmaximumDifferencefeatureselectionalgorithm（MCD）basedonthemaximumcorrelationof

informatio