一种基于ＳＶＭ新的学习方法及应用.docVIP

一种基于ＳＶＭ新的学习方法及应用 　　摘要：该文提出一种基于支持向量机的组合核函数的学习方法，它首先由遗传算法作为新的学习方法得到训练，组合核函数的权值在学习过程中被确定，并在决策模型的分类阶段用来作为参数。这种学习方法被应用在两个关于癌症诊断的公用数据集中，从而获得分类最优超平面。通过实验，这种学习方法显示出比用单一核函数具有较好的性能。 　　关键词：支持向量机；组合核函数；遗传算法 　　中图分类号：TP18文献标识码：A文章编号：1009-3044(2008)33-1474-02 　　A New Method for Support Vector Machine and Application 　　XIA Yong-jun 　　(Lanzhou Jiaotong University, Department of Electronics and Information Engineering, Lanzhou 730070, China) 　　Abstract: This paper proposes a unified kernel function for support vector machine, which are trained by a new learning method based on genetic algorithm. The weights of basis kernel functions in the unified kernel are determined in learning phase and used as the parameters in the decision model in the classification phase. The unified kernel and the learning method were applied to obtain the optimal decision model for the classification of two public data sets for diagnosis of cancer diseases. The experiment showed fast convergence and greater flexibility than other kernel functions. 　　Key words: SVM; unified kernel function; GA 　　1 引言 　　支持向量机(Support Vector Machine,SVM) 是在统计学习理论基础上发展起来的一种新的机器学习方法,已成为目前研究的热点，并在模式识别、分类、回归等领域有着很好的应用。遗传算法是基于对自然界中生物的遗传和进化机理进行模拟而到的一种智能算法。算法流程主要模仿的是生物遗传进化过程中的选择、交叉、和变异操作，从而完成对问题最优解的自适应过程。近年来，SVM和GA的结合与应用越来越受到人们的关注[5]。它在与癌症疾病诊断相关的分类问题中显示了较好的性能。 　　2 支持向量机(SVM) 　　支持向量机作为一种通用的学习方法首先由Vapnic等人提出来，并在实际应用中显示出越来越多的优越性能。支持向量机[1]主要思想是通过某种事先选择的非线性映射将输入向量x映射到一个高维特征空间Z，并在此空间中构造最优超平面。在最简单的线性模型中，一个SVM就是这样一个超平面，它使得正例和反例之间的分类间隔最大化。所谓的分类间隔即一群正例样本与反例样本之间的距离。从而构造的线性函数为： 　　 y=w#8226;x-b（1） 　　这里w是基于超平面的普通向量，x是一个输入向量。其中分离超平面即y=0的平面和与超平面具有相等距离的两个平行面。 　　 H1:y= w#8226;x-b=+1, H2:y= w#8226;x-b=-1 （2） 　　这样，分类间隔M被定义为：■ （3） 　　若想将两类样本无错误地分开且使两类样本的分类间隔最大，则可通过求解最小化 来实现，这是一个典型的非线性问题的不等式约束。可以通过设置Lagrange函数的鞍点来解决此最优化问题，最优解即为下面的Lagrange函数的鞍点： 　　 ■ （4） 　　式中αi是Lagrange乘子，且αi≥0。 　　不过，线性学习机[7]计算能力的限制在19世纪60年代有Minsky和Papert提出来。它可以很容易的认识到，在现实世界的应用需要比线性函数更加广泛和灵活的假设空间。但是这种限制可通过多层神经网络得以解决。核函数还提供了另一种解决办法，即由预测数据转换为?{维特征空间，以增加线性学习机的计算能力。对于非线性问题，可