用模拟退火方法研究支持向量机的参数决定.docVIP

基于模拟退火方法的支持向量机参数确定及特征选择 Shih-Wei Lin a,b,*, Zne-Jung Leeb, Shih-Chieh Chen c, Tsung-Yuan Tseng b a Department of Information Management, Chang Gung University, No. 259 Wen-Hwa 1st Road, Kwei-Shan Tao-Yuan 333, Taiwan, ROC b Department of Information Management, Huafan University, No. 1 Huafan Road, Taipei, Taiwan, ROC c Department of Industrial Management, National Taiwan University of Science and Technology, No. 43 Keelung Road, Sec. 4, Taipei, Taiwan, ROC Received 31 January 2007; received in revised form 6 October 2007; accepted 21 October 2007 Available online 26 October 2007 摘要 支持向量机是一种新颖的分类法方法，它在许多应用中都极具价值。在支持向量机的训练过程中，核参数设置及特征选择对分类准确率具有显著的影响。该研究的目的是找到最优参数值，同时寻找一个不会降低支持向量机分类准确率的特征子集。本研究提出了一种用于支持向量机中确定参数和特征选择的模拟退火方法，命名为SA-SVM。 为了的SA – SVM方法UCI机器学习库实验结果表明，分类准确率超过格搜索方法和其他1 引言 对分类问题了广泛研究。对于一个给定的模型参数值，以前的分类问题技术进步导致解决分类问题的新技术， 包括决策树，BP神经网络，支持向量机Vapnik[1]开发的一个新兴的数据分类技术，并已在最近的分类问题[2-9]广泛的应用于各个领域。 在支持向量机中，采用抽样成本在训练阶段产生分类模式。然后，分类是基于训练模式的基础上完成的。在建立支持向量机模型中最大的困难是选择核函数及其参数值。如果参数值设置的不合适，那么分类的结果将不是最优的[10]。利用分化与整合，低收入和高通分类领域，某些功能可能含有虚假相关性，阻碍数据的处理。此外，一些功能可能是多余的，因为他们补充的信息包含在其他功能。冗余功能延长计算时间，影响分类精度。因此，在分类过程必须快速，准确这特征选择已用于提高分类性能，并减少数据噪声[11-13]。因此，需要一个支持向量机高效，稳定的特征选择方法，它忽略嘈杂的，不相关和冗余数据，同时仍保留判别数据的权力。特征提取本研究整合了模拟退火（SA）为基础支持向量机的方式来确定最优的分类结果，被称为模拟退火-支持向量机（SA-SVM）以上提出的的SA-SVM方法不仅仅可以得到更好的SVM参数值，也找到了特定问题的功能子集，从而最大限度地提高了SVM分类准确率。这使两个分离的最优超平面既可采用线性，又可采用非线性分类。模拟退火-支持向量机（SA-SVM）支持向量机可简述如下[14-16]。设表示的训练数据集，其中X表示从该模式设置一些非空变量，表示目标变量。 ，where （1） 如果一个超平面满足等式（1），那么就可以得到线性分离。这种情况下w和b就满足以下条件： （2）。 在分离超平面中包括一个最优分类超平面(OSH)，在两边的支持向量点中它拥有最大的距离。因为两个支持向量点的距离为，而距离以上超平面的最小距离可以从等式（2）中求得。 超平面的边距可以理解为这个超平面的推广功能，这个超平面拥有在所有分离的超平面中最大的边距。可以通过等式（2）和拉格朗日多项式得到其最小值。我们记，结合拉格朗日多项式和等式（2）得到以下最大化的等式： （3） 其中且对于所有的都成立，并有 （4） 二次规划可用来解决这个最大化问题。 给定一个方程满足最大化方程（3），则超平面中可以写成以下形式： 其中支持向量点必须满足等式（2）和。当考虑到在约束等式（4）中的扩张，超平面的函数式可以写成如下： （6） 大部分情况下，数据是不可线性分离的，因此被映射到更高维的特征空间中。这就意味着如果数据不能在现有的维数空间中被严格的分离，那么支持向量机就要把数据映射到更高维的空间中进行分离。 通过绘制一条非线性曲线，将输入数据映射到高维空间。然后在特征空间中建立这个超平面。特征空间向量是建立在核K评价输入模式的，其中。 核函数之所以可以被应用是因为所有的特征向量仅仅产生于点产品