基于遗传算法树形层次SVM多类分类器.pdfVIP

基于遗传算法的树形层次SVM 多类分类器 袁异，朱宁波，朱敏觉 湖南大学计算机与通信学院，长沙（410082 ） E-mail ：changsha601@163.com 摘 要：支持向量机（SVM ）是解决小样本学习问题的有力工具，但是由于支持向量机算 法实现复杂、多类分类存在困难，严重限制了支持向量机在实际生活中的应用。遗传算法 （GA ）具有全局搜索最优解的特点，利用遗传算法针对不同的数据集进化搜索最优SVM 参 数，得到最优 SVM；同时利用二叉正态树进行多类决策，将二者有机的结合起来，提高支 持向量机在多类分类问题上的效率。 关键词：支持向量机；遗传算法；支持向量机参数；二叉树；偏态树；正态树；多类分类 中图分类号：TP391 1 引言 支持向量机 (SVM ，support vector machine)是Vapnik Cortes Vapnik 1995 年首先提出 来的，是近年来机器学习研究的一项重大成果。支持向量机的基本思想是，寻找一个最优超 平面使它的分类间隙最大，对线性问题即寻找最优分类线，对非线性问题，则通过一个选定 的变换函数将输入的特征向量由低维的原始空间映射到高维空间，转化为某个高维空间中的 线性问题，然后在高维空间构造一个最优分类超平面实现两类分类。它建立在结构风险最小 化原则基础之上，具有很强的学习能力和泛化性能，能够较好地解决小样本、高维数、非线 性 、局部极小等问题 ，可以有效地进行分类、回归、密度估计等。由于这些优点，其得到 了全面深入的发展，现已成为机器学习和数据挖掘领域的标准工具。 但是传统的SVM 存在着一些不足之处：其一，对于非线性样本空间需用核函数做内积 运算映射到高维空间，求解最优超平面，实现较为复杂；其二，SVM 是针对两类分类问题 设计的，直接用于多类分类问题非常复杂。本文提出一种基于GA 求解最优超平面和基于二 叉树多类分类的方法，以提高实际应用率和分类精度，并取得了较为理想的结果。 2 SVM 现有方法及优缺点 2.1 两类样本训练集SVM SVM 是从线性可分情况下的最优分类面发展而来的。当两类样本是线性可分的情况， 如图1，图中实心点和空心点分别表示两类训练样本，H 为把两类数据没有错误地分开的最 优分类线，H1 ，H2 分别为过两类样本中离分类超平面最近的点且平行于分类线，H1 和H2 之间的距离叫做间距。如果该分类线将两类数据没有错误的分开且最近的点与分类线间的距 离最大，则这样的分类线称为最优分类线（在多维空间称为最优超平面）。当两类样本是线 性不可分时，可以引入松弛变量，并引入带有惩罚因子的目标函数。此时SVM 可以通过二 次规划来实现。若在原始空间中的简单超平面不能得到满意的分类效果，则必须以复杂的超 曲面作为分界面。首先通过非线性变换将输入空间变换到一个高位空间，然后在这个新空间 中求取最优线性分类面，此时用核函数代替最优分类平面中的点积。 - 1 - 图1 二维问题中的最优分类线 支持向量机具有精度高、速度快、自适应能力强、不受高维维数限制等优点，但还有很 多亟待解决的问题和难点[1] ：1）SVM 方法在选择核函数时，没有很好的方法指导，而核函 数的选择好坏又很大地影响了SVM 的性能；2 ）误差惩罚参数C 的作用是在确定的数据子 空间中调节学习机器置信范围和经验风险的比例，以使学习机器的推广能力最好，而惩罚系 数C 的确定也没有个固定标准。 2.2 多类样本训练集SVM 支持向量机方法最初是针对两类分类问题而提出的，如何将两类分类方法扩展到多类 别分类是支持向量机研究的重要内容之一。从当前来看，大致可以分为两大类： 1、直接解决n 类问题：将多个分类面的参数求解合并到一个最优化问题中，通过求解该最 优化问题“一次性”地实现多类分类[2] 。该方法的优点是SV 少，训练速度快，但其一个明显 缺点就是选择的目标函数过于复杂，从而导致它的计算复杂度高。在最优化问题求解过