SVM在距离空间中研究.docVIP

SVM在距离空间中的研究 　　摘 要：本文提出了一种基于支持向量机思想的对任意距离空间求解最大分类间隔的方法，其优化问题可以用输入空间的距离来表示。首先我们将输入空间等距嵌入到Hilbert空间，在线性的Hilbert空间对优化问题进行线性处理，但是这种方法只适用于特定的距离空间。在原方案的基础上我们研究了对任意距离空间求解最大分类间隔的方法。 　　关键词：距离空间 分类间隔 凸集 核函数 　　 　　1 引言 　　 　　距离空间又称度量空间，它是一种拓朴空间，其上的拓朴由指定的一个距离决定。对于距离空间(?掊，ρ)，?掊是一个非空集，ρ叫做?掊上的一个距离。通常SVM问题都是以核函数k作为研究对象，其分类结果与k的选择有关。由于分类间隔从几何形式上讲它等于两个互不相交凸集间的距离，所以我们尝试将距离作为研究对象，把问题放在距离空间里讨论。但并不是所有的情况都是线性可分的，这时可以考虑将原空间等距嵌入到线性空间。一方面，使得输入空间的距离大小在嵌入后保持不变；另一方面，可以对问题进行线性处理。我们首先在Hilbert空间上用距离ρ表示该优化问题，但这必须在-ρ 条件正定的条件下进行。因此我们研究了能够适用于任意距离空间的距离分析方法，就是将任意距离空间等距嵌入到Banach空间，在线性的Banach空间用计算两凸集间的距离的方法求解最大分类间隔。 　　 　　2 分类超平面与分类间隔 　　 　　考虑线性可分的情况，分类超平面在泛函分析中的解释如下： 　　Hahn-Banach凸集分离定理。设E 和E 是Banach空间中两个互不相交的非空凸集，E 有内点，那么?埚S∈R及非零线性连续泛函g，使得超平面H分离E 和E ，换句话说，存在一个非零线性泛函g，使得 　　 　　规范形式的超平面分类间隔大小为 ，即在约束条件y (w?x+b)≥1下求‖w‖ 的最小值。在这里我们讨论的不是如何求出分类函数中参数的具体值，而是采用距离空间的研究方法，用距离ρ来表示该优化问题。接下来根据Reproducing Kernel Hilbert Space（RKHS）理论来说明通常的SVM方法。 　　 　　3 在Hilbert空间求解最大分类间隔 　　 　　3.1 基于RKHS理论的SVM方法 　　首先给出正定函数与条件正定函数的概念： 　　定义1：集合?掊×?掊上的实值函数k正定当且仅当k对称且 　　 　　显然正定函数一定是条件正定的。通过正定核函数来建立基于RKHS理论的希尔伯特空间H，其方法如下： 　　(1) 定义特征映射?准： 　　 　　(2) 在特征空间定义有界线性算子f，f为?准 的线性组合，即f= a ?准 ； 　　 　　(4) 建立完备的内积空间即Hilbert空间H。 　　根据以上定义，将SVM方法描述如下：输入空间?掊通过函数?准映射到Hilbert空间H，在H空间确定最优分类面。Riesz定理指出，任意一个线性连续函数都对应Hilbert空间的一个向量。最优分类面则对应着Hilbert空间上的线性连续函数。 　　 　　3.2 用距离空间(?掊，ρ)做输入空间 　　通常我们对SVM问题的求解按以下步骤进行： 　　 　　即都是通过核函数k将原空间转换到Hilbert空间。这一部分我们在集合?掊上定义距离ρ，将距离空间（?掊，ρ）作为输入空间等距嵌入到Hilbert空间： 　　 　　下面的命题给出了用核函数k构造距离的一种方法，也可以有不同的形式［４］。 　　命题1：设集合?掊非空，k是?掊×?掊→R上的一个条件正定核函数，定义函数 　　 　　则ρ是?掊上的一个距离且-ρ 是条件正定的。存在?掊→R上的函数h，使得 　　 　　证明：若k条件正定，由(7)得 　　 　　下面我们将生成的距离空间等距嵌入到Hilbert空间。 　　命题2：设（?掊，ρ）是命题1中定义的距离空间， 　　(1)（?掊，ρ）能够等距嵌入到Hilbert空间H； 　　(2)若核函数k有界，则H能连续嵌入到空间（C (?掊)，‖?‖ ），C (?掊)代表集合?掊上有界连续函数的全体。 　　证明：由命题1证明中的(8)式，可以通过条件正定核函数k得到正定核函数 ，由于两者定义了相同的距离，所以可用正定核函数 来建立基于RKHS理论的Hilbert空间H，其特征映射为?准 = (x，?)。 　　对任意的f∈H， 　　 　　Schoenberg已于1938年提出了正定函数与条件正定函数的概念并证明了以上结论［５］。我们不难得到以下定理： 　　定理1：距离空间(?掊，ρ)等距嵌入到Hilbert空间的充分必要条件是-ρ 条件正定。 　　3.3用距离ρ表示SVM优化问题 　　根