基于Gram—Schmidt过程的支持向量机降维方法.pdfVIP

第 19卷．第 1期 计 算 机 技 术 与 发 展 Vo1．19 No．11 2009年 l1月 C0 兀 RTECHNoI．oGY ANDDEVELJ3】 NT NOV． 2009 基于Gram—Schmidt过程的支持向量机降维方法 冯甲策，叶 明，王惠文 (北京航空航天大学，北京 100191) 摘 要：支持向量机是借助于最优化方法来解决机器学习问题的_I=具。在实际应用研究中，多元变量 间的相关性是普遍 存在的，这可能影响支持向量机分类模型的判别效率。因此文中提出了基于Gram—Schmidt过程的特征选择方法，来减少 多重共线性的危害。该方法利用Gram—Schmidt正交化过程，在特征集合 中选择判别力强的信息，并把挑选出来 的特征集 合变换成若干直交变量。这样不仅可以实现判别模型的变量筛选，同时也解决了多重共线性对判别模型的影响这一问 题。文中进行数值实验，将所提算法与fisher判别法相比较，结果所提算法不仅降低了模型维度，预报准确率也有所提高， 验证 了所提方法的有效性。 关键词：支持向量机 ；特征选择 ；Grma —Schmidt正交化 中图分类号：TP181 文献标识码：A 文章编号：1673—629X(2009)11—0007—04 DimensionReductionM ethodofSupportVectorMachine BasedonGram -·-Schm idtProcess FENGJia-ee，YEMing．WANGHui—wen (BeijingUniversityofAeronauticsandAstronautics，Beijing100191，China) Abstract：Thesupportvectormachineisamachinelearningsolvingtoolusingoptimizationmethod．IntheapplicationreseNreh，nmtticol— inesrityisverycommon．Thisma yinfluencethediscriminantresultofclassification．Inordertosolvethemulticolinearityproblem ，pro- posesafeatureselectionmethodbasedonGram —Schmidtprocess．Thismetlr．xtusesGram —Schmidtorthogonalization，eslectspowerful informationandmakes variables irrelevna t．Itcannotonlyeslectpowerfulfeatures．butalos oslvetheproblem ofmulticollinearity．The sinmlationcaseidentifiedtheeffectivenessofthismethod．Comparedwithfisherdiscriminantanalysis．itreducesthedinlensionofmodel nadimprovestheaccuracyrateofprediction． Keywords：supportvcetorma chine；features．election；Gram —Schmidtorthogonalization O 引 言 研究热点，并已在模式识别等问题上得到了成功的应 用[3I。 支持向量机 (SupportVectorMachine，SVM)是数 据挖掘的一项技术，是借助于最优化方法来解决机器 虽然SVM有比较坚实的理