基于统计试验设计方法的支持向量机参数选取 meta-parameter selection of support vector machines based on orthogonal experiment design.pdfVIP

第13卷第6期 电路与系统学报 V01．13No．6 2008 2008年12月 JoURNALOFCIRCUITSANDSYSTEMS December， 文章编号：1007-0249(2008)06—0018-05 基于统计试验设计方法的支持向量机参数选取· 黄景涛1， 马龙华2， 钱积新2 (1．河南科技人学电子信息工程学院，河南洛阳471003： 2．浙江大学工业控制技术国家重点实验宦系统工程研究所，浙江杭州310027) 摘要。为优化支持向量机算法参数的选取，提出了一种基于统计试验设计的参数选取方法。在参数空问内进行优 化搜索，以较少的搜索次数获得参数的优化组合，提高算法整体性能。将基于统计学基础的正交试验设计方法整合到 支持向量机算法的实施过程中，形成一个完整的算法。在几个数据集上的测试结果表明，该方法能够有效提高分类率， 相应的模型复杂度较低。 关键词·支持向量机；参数选取；正交试验设计 中图分类号·TP273 文献标识码·A 1 引言 在过去的十多年内，由于支持向量机算法的出现，机器学习领域发生了很大变化。支持向量机算 法建立在统计学习理论基础上，实现了统计学习理论中关于最大间隔分类超平面的思想，具有好的泛 化能力，是一种性能优异的小样本学习机【l~3】。支持向量机算法的思想是在训练样本中搜索各类样本 的边界点，以这些边界点构造分类器，这些边界点就是所谓支持向量。无论在分类还是在函数回归建 模方面，支持向量机算法都有着优良表现【2】。好的性能取决于算法参数的合理选择，由于具体对象特 and 性的差异，尚没有一种参数选择的法则可供参考，大多采用试凑(tryerror)的方法在一个给定的 参数空间内搜索最优的参数组合。试验设计是一门古老的科学，最初用于农业作物育种方面，现在在 科学试验以及工业设计过程中得到了广泛应用【4】。本文将正交试验设计的思想用于支持向量机算法参 数的搜索过程，以较少的训练次数获得优化的参数组合，最终得到好的算法模型。 分类器算法性能的优劣主要由其分类准确率或回归系数以及泛化能力进行评价。各种参数选择方 法优劣的评判依据也是算法性能，一般采用分类器的分类正确率来衡量。关于支持向量机算法参数的 选择，已经有很多学者进行了各种各样的研究尝试，从最简单的网格式搜索到各种启发式搜索，都有 相应的优势与不足。FraukFriedrichs和Christian Igel采用一种协方差矩阵自适应演化策略对支持向量 机的参数进行选择【5】，Vladimir Ma[6】对支持向量机用于函数同归时的参数选择 Cherkassky和Yunqian 问题做了研究，采用一种经验公式作为算法参数选择的准则，这个准则基于训练样本集的信息，采用 C ， ．、 3．盯准则选择SVR的占和c。占=TO，／竺，C=maxI ” “。 “7 V疗 均值，仃。是训练集中目标函数值的标准差，f是一个常系数，玎是训练集中的样本个数；OlivierChapelle 和Vladimir Vapnikl7]用Minimax方法进行参数选择；Carl C进行选择；Davide Anguita等人【9】提出了最大间隔准则进行SVM超参数设计。 2 支持向量机算法简介 支持向量机算法是以支持向量的线性组合作为分类器的算法，在非线性可分时通过核函数 ‘收稿日期一2005一11．03修订日期：2005．12．27 基金项目·自然科学基金资助项14；国家重点基础发展规划973资助项日(