用模拟退火方法研究支持向量机的参数决定.docVIP

基于模拟退火方法的支持向量机参数确定及特征选择 Shih-Wei Lina,b,*, Zne-Jung Leeb, Shih-Chieh Chenc, Tsung-Yuan Tseng6 11 Department of Information Management, Chang Gung University, No. 259 Wen-Hwa 1st Road,Kwei-Shan Tao-Yuan 333, Taiwan, ROC b Department of Information Management, Huafan University, No. 1 Huafan Road, Taipei, Taiwan,ROC c Department of Industrial Management, National Taiwan University of Science and Technology, No.43 Keelung Road, Sec. 4, Taipei, Taiwan, ROC Received 31 January 2007; received in revised form 6 October 2007; accepted 21 October 2007Available online 26 October 2007 支持向量机是一种新颖的分类法方法，它在许多应用中都极具价值。在支持向量机的训 练过程中，核参数设置及特征选择对分类准确率具有显著的影响。该研究的FI的是找到最优 参数值，同时寻找一个不会降低支持向量机分类准确率的特征子集。本研究提出了一种用于 支持向量机中确定参数和特征选择的模拟退火方法，命名为SA-SVMo 为了衡量所提的SA - SVM方法，从UCI机器学习库中选用了一些数据集，用于计算 分类進确率。将所提方法与用于参数设置的传统格搜索方法及其他多种方法进行了比较。实 验结果表明，所提方法的分类准确率超过了格搜索方法和其他方法。因此，SA-SVM在支持 向量机的参数测定和特征选择屮很有用。 关键词:支持向量机；模拟退火；参数测定；特征选择 1引言 对分类问题已经有了广泛研究。对于一 个给泄的模型参数值的选择，像数据不完整 等众多因素可能会彫响分类的成果。以前的 分类问题通常是用统计方法，如物流，冋归 或判别分析等来处理。技术进步导致了解决 分类问题的新技术，包括决策树，BP神经 网络，粗糙集理论和支持向量机（SVM）的 产生。支持向量机是首先被Vapniktl］开发 的一个新兴的数据分类技术，并己在最近的 分类问题［2-9］广泛的应用于各个领域。 在支持向量机屮，采用抽样成本在训练 阶段产生分类模式。然后，分类是基于训练 模式的基础上完成的。在建立支持向量机模 型屮最大的困难是选择核函数及其参数值。 如果参数值设置的不合适，那么分类的结果 将不是最优的［10］。利用分化与整合，低收 入和高通过率和数据库的光谱数据，对原始 数据及预处理的数据进行分类，得到轴承条 件。在复杂的分类领域，某些功能可能含有 虚假相关性，它们阻碍数据的处理。此外， 一些功能可能是多余的，因为他们补充的信 息包含在其他功能里。冗余功能会延长计算 时间，影响分类精度。因此，在分类过程中 必须用最少的功能且快速，准确，这时通过 使用特征选择实现目标。特征选择已用于提 高分类性能，并减少数据噪声［11-13L 如果没有特征选择而采用支持向量机， 那么输入的空I可维数大，且数据不干净，就 会降低支持向量机的功能。因此，需要一个 支持向量机拥有高效，稳定的特征选择方 法，它忽略嘈杂的，不相关和冗余数据，同 时仍保留判别数据的权力。特征提取采用原 始数据，以在支持向量机分类器中输入。 本研究整合了模拟退火（SA）为基础 支持向量机的方式来确定最优的分类结果， 被称为模拟退火■支持向量机（SA-SVM）, 以上提出的的SA-SVM方法不仅仅可以得 到更好的SVM参数值，也找到了特定问题 的功能子集，从而最大限度地提高了 SVM 分类准确率。这使两个分离的最优超平面既 可采用线性，又可采用非线性分类。 本文的其余部分组织如下：第二部分回 顾关于支持向量机和特征选择的相关文献， 笫三部分对以上提出的模拟退火■支持向量 机（SA-SVM）进行介绍，旨在改进有或者 无特征选择的支持向量机参数。第四部分是 对该实验方法与现存的其他方法的结果进 行的比较。最后在第五部分得出结论，以及 给出未來研究的建议。 2文献综述 2. 1支持向量机 支持向量机可简述如下[14-16]0设 （坷，刃）……（兀”，儿）w X X {± 1}表示的训练数 据集，其中X表示从该模式设置一些非空变 :Sx,?，X表示目标变fi-^e{±l}o 支