多类问题中最优特征子集选取地研究.pdfVIP

自动化技术与应用》2008年第25卷第12期 计算机应用 ComputerApplications 多类问题中最优特征子集选取的研究 李继 荣 (华北电力大学 计算机系，河北 保定 071003) 摘 要：本文对最优模糊值特征子集选取算法进行了改进，使其可以适用于多类最优模糊值特征子集选取，并且在选取第一个最优 特征的时候引入了信息熵的方法，降低了算法的训算复杂度。利用选取的特征子集构造模糊决策树，实验数据说明这种改进 算法是可行的。 关键词：特征子集选取；模糊值特征；信息熵，相似度；模糊扩张矩阵 中图分类号：0232 文献标识码：A 文章编号：1003—7241(2006 OptimalFeatureSubsetSelectionforMulti--classIssue LIJi-rong (ComputerScienceDepartment,NorthChinaElectricPowreUniversity，Baoding071003，China) Abstract：Themethodofoptimalfuzzy-valuedfeaturesubsetselectionisimprovedinthepaper．Themethodofinformationen~opy isusedinthefirstselectiontoreducethecomputecomplexityofthealgorithm．Theexperimentaldatashowsthatthe improvedalgorithm isfeasible． Keywords：featuresubsetselection；fuzzy—valuedfeature；informationentropy；similaritymeasure；fuzzyextensionmatrix 1 引言 随着学习对象维度的增加，许多机器学习算法的时间和空 2 最优模糊特征子集选取OFFSS 间开销急剧增加，影响了学习结果的性能。特征子集选取F88[1l OFFSS启发式算法的特征子集搜索策略是基于定义在相似 (FeatureSubsetSek~CJon)目的是在分类和模式识别问题中从 度上的模糊扩张矩阵2】【的路径搜索算法，采用定义在模糊集合相似 一 个大的已知特征集合中选择一个较好的，有代表陛的子集来一 度之上的类间交叠度OV来描述正例类和反例类的重叠程度。基 致的描述给定的示例集。通过减少特征空间的维数，剔除冗余信 本思想是采用模糊集合来表示事例的特征值，形成正例类和反例 息，提高计算速度和准确率，长期以来是机器学习领域的难题之 类上的模糊扩张矩阵，其中的元素用正反例之间相对应的特征值 一 。 最优模糊值特征子集选取OH (OptimalFuzzy-valued 的相似度来表示，通过搜索矩阵中一条包含最少列数的路径得到 FeatureSubsetSelection)方法被认为是特征子集选取的一种 最优特征子集。算法步骤如下【1： 重要方法，选取的特征子集构造决策树的训练精度和测试精度都 步骤1：初始化，FS为整个特征空间，s为最优特征子集，初 较高。OFFSS适用于数据库中示例只分为正反两类的特征子集选 始为s=o，P为正例集，N为反例集，EM(P，N)为P关于N的模 取问题，而不适用于多类的特征子集选取问题。 糊扩张矩阵 针对此问题，本文对OFFss启发式算法进行了扩展使其可 步骤2：从当前的EM(P，N)中选择拥有underT元素个数最多 以处理多类问题，提出多类最优模糊值特征子集选取MOFFSS 的第j列，如果拥有mder个元素个数最多的列不唯一，则选择这 (MulticlassOptimalFuzz