基于支撑向量机的收敛问题研究.docVIP

基于支撑向量机的收敛问题研究 　　摘要:在文章中提出了一种基于支持向量机思想的对任意距离空间求解最大分类间隔的方法,其优化问题可以用输入空间的距离来表示。首先将输入空间等距嵌入到Hilbert空间,在线性的Hilbert空间对优化问题进行线性处理,但是这种方法只适用于特定的距离空间。在原方案的基础上扩展研究了对任意距离空间求解最大分类间隔的方法。 　　关键词:距离空间;分类间隔;凸集;核函数 　　 　　Study on Metric Spaces Based on Support Vector Machine 　　XIE Shu-xin 　　(Hunan Railway Professional Technology College, Zhuzhou 412001, China) 　　Abstract: This paper proposed a maximal margin classification method based on support vector machine(SVM) for arbitrary metric spaces. The optimization problem can be written in terms of the metric of the input space. Firstly we isometrically embedded the input space into a Hilbert space where we can solve the problem with linear method. However, this method is limited to special metric spaces. According to the scheme developed for SVM we provide a generalization of maximum margin principle to arbitrary metric space. 　　Key words: metric space; margin; convex hull; kernel 　　距离空间(度量空间)是一种拓朴空间。对于距离空间(?字,ρ),X是一个非空集,ρ叫做?字上的一个距离。通常SVM问题都是以核函数k作为研究对象,其分类结果与k的选择有关。由于分类间隔在几何上等于两个互不相交凸集间的距离,在此将距离作为研究对象。但并非任何情况都线性可分,这时可考虑将原空间等距嵌入线性空间。一方面,使得输入空间的距离大小在嵌入后保持不变;另一方面,可以对问题进行线性处理。首先在Hilbert空间上用ρ表示该优化问题,但这必须在-ρ2条件正定的条件下进行。因此我们研究了能够适用于任意距离空间的距离分析方法,就是将任意距离空间等距嵌入到Banach空间,在线性的Banach空间用计算两凸集间距离的方法求最大分类间隔。 　　1 分类超平面与分类间隔 　　考虑线性可分的情况,分类超平面在泛函分析中的解释是:Hahn-Banach凸集分离定理。设E1和E2是Banach空间中两个互不相交的非空凸集,E1有内点,那么?埚S∈R及非零线性连续泛函g,使得超平面Hfs分离E1和E2,即存在一个非零线性泛函g,使得 　　 g(x)≤s(?坌x∈E1) (1) 　　 g(x)≥s(?坌x∈E2)(2) 　　根据(1)、(2)定义严格的分类函数为符号函数:f(x)=sgn[g(x)-s] 　　对应SVM问题[1]的分类函数: ■ (3) 　　规范形式的超平面分类间隔大小为■,即在约束条件yi(w?x+b) ≥1下求‖w‖2的最小值。在此不是如何求分类函数中参数的具体值,而是采用距离空间的研究方法,用ρ来表示该优化问题。接下来根据RKHS理论来说明通常的SVM方法。 　　2 在Hilbert空间求解最大分类间隔 　　2.1 基于RKHS理论的SVM方法 　　根据正定函数与条件正定函数的概念可知正定函数一定是条件正定的。通过正定核函数来建立基于RKHS理论的希尔伯特空间H,其方法如下: 　　1) 定义特征映射?准: 　　?字→R,x→?准x=k(x,?); 　　2) 在特征空间定义有界线性算子f,f为?准x的线性组合,即■; 　　3) 定义内积为=k(x,y); 　　范数■; 　　4) 建立完备的内积空间即Hilbert空间H。 　　根据以上定义,将SVM方法描述如下:输入空间?字通过函数?准映射到Hilbert空间H,在H空间确定最优分类面。Riesz定理指出,任意一个线性连续函数都对应Hilbert空间的一个向量。最优分类面则对应Hilbert空间上的线性连续函数。