多类问题特征选择优化迭代算法.pdfVIP

基于Chernoff上界的 多类问题特征选择优化迭代算法 吴吴晖 宣国荣 柴佩琪 (同济大学计算机科学系 上海20M 摘 要 本文提出正态分布条件下面向不同分布的多类问题墓于f}wrnoff上界的特征选择 优化迭代算法。该算法由两重迭代组成:首先在设定的原始空间和特征空间口此即任参数: 条件下，通过解矩阵方程的迭代算法求得变换矩阵的最优解;然后，在变换矩阵确定的特征空 间中搜索最佳的参数。使错误概率上界最小;最后采用折半法修正设定的Chemoff参数:及 其迭代步长。通过分析和实例可见墓于Chemoff上界特征选择是面向不同分布的多类问题的 最佳特征选择方法。 类旅词 Chemoff上界 错误概率上界 特征选择 迭代算法 正态分布 ANOPTIMALRECURSIVEALGORrrEMFORChernW BOUND SELUCPIONIN MULTICLASSPROBLEMS WuMinhul XuanGuorong 口面Pei单 为口姑加+矿 S如.，r倾 袖〔ma y.sn-Mrm mossz Abshuct Anoptimal， algorithmforChemoffboundfeatureselection ‘multiclassproblem andnormalmultidistributionorientedispresented.lltis晒，俪“ istwofold.Settingtheparameter`sis thefeatureandoriginalspace,theoptimalsolutionoftransfortoation~ canbefcmrd.Theoptimalset ofparameter`scanbesearched场minimizingtheupperboundofenarprobability.Then,thesettingPs- rametersandrecursivestepshouldbecorrectedtoclosethedifferencebetweenthesettingandoptimal ，‘’.Thetheoreticalanalysisandexperimentalresultsshowthattheperformanceofproposedalgorithmis superiortotheperformanceofanypreviousone. Keywords ChemoffBoundUpperBoundofErrorProbability FeatureSelectionRecursiveAlgo- rithm NormalDistribution 收稿日期:1996-06-25,昊里晖，博士生，主要研究领域:图形图像处理与计算机视觉。 ·26 万方数据 1 引 言 面向不同分布的特征选择是模式识别领域中的重要课题，在理论研究和实际应用中都有 着重要和普遍的意义。众所周知，Bayes误差是评价特征空间的最优准则，但是Bay-误差函 数过于复杂以至无法作为分析手段加以应用。因而在实际应用中，人们通常采用的是基于散 布矩阵构成的判别准则或基于错误概率上界这两大类方法[1-b]。前者是相对简单的解析方 法，但这些准则与Bay-误差都没有直接的联系;后者与Bay-误差直接相关且通过将分类错