对gaussian径向基函数核对应特征空间中保形变换及改进.ppt

对gaussian径向基函数核对应特征空间中保形变换的改进 [1999] S. Amari,S. Wu. Improving support vector machine classifiers by modifying kernel functions. 本文中首次提出了通过修改核函数来增大训练数据 类间间隔的思想，修改是基于核函数的黎曼几何结构提 出的。主要针对gaussian径向基函数核作出修改。 [2002]Wu. S, Amari.S. Conformal transformation of kernel functions: A data-dependent way to improve the performance of support vector machine classifiers. 本文中作者对修改的合理性给出了理论证 明，并将对核函数的修改扩展到多项式函数核。 文中结论： SVM 是构建于统计学理论基础之上的一种分类方法； SVM不同于传统的基于经验风险最小化的分类方法； 类间间隔越大，分类器的泛化能力越强； 支持向量的数目越少，分类器的泛化能力越强； 映射的选取： 修改核函数的思想： 由于映射 的形式难于确定，SVM的高明之处 在于使用了具体的核函数。当核函数的具体形式被给出 后，相应的映射也就被确定。如果我们对核函数作修改， 即等于对映射作了修改。 我们对核函数进行修改的结果是：修改后的核函数对 应的映射较之原始映射，能够使训练数据拥有更大的类间 间隔。 核函数的修改形式： 保形变换的具体形式： 对原方法的改进： 非线性SVM 修改核函数的目的： [1]我们的本意就是能够寻找到一个映射，使之 将训练样例投射到高维空间后，训练样例之间拥 有较大的类间间隔，这样的映射肯定存在，但是 映射的具体形式我们难以确定； [2]我们对现有的核函数作修改，使修改后的核 函数对应的映射拥有比原始核函数较大的类间间 隔，即等于寻找到了一个新的映射； 在给定了具体的核函数 后，那么相 应的映射 也就被确定了，如果我们对现 有的核函数作修改，使修改后的核函数对应的 映射 比原映射 拥有较大的类间间 隔那么我们的目的就达到了。 修改的主要思想： [1]利用原始的核函数训练SVM，找出支持向 量； [2]通过增大支持向量在特征空间（黎曼空间） 中的体积元，减小非支持向量的体积元达 到扩大类间间隔的目的； [3]利用修改后的核函数重新训练SVM。 Wu. S, Amari.S认为每个训练样例在特征空间中都 是占有一定的体积的，通过黎曼几何学的知识，可以将 样例体积的表达式计算出来。 [2007]QING HE , XIU-RONG ZHAO , ZHONG- ZHI SHI , SAMPLING BASED ON MINIMAL CONSISTENT SUBSET FOR HYPER SURFACE CLASSIFICATION. 样例的体积元： 保形变换的定义： [1]曲面之间的一个变换，如果使曲面上对应 曲线的交角相等，则这个变换成为保角变换 （保形变换）。[微分几何] [2]解析函数所确定的映射就是保形映射。[复 变函数] 两个定义的意义： 定义[1]从空间几何结构的角度给出了保 形变换的定义，使我们能够形象地观察到保形 映射所带来的变化； 定义[2]保证了对原始核函数作保形变换 后所得到的函数仍满足核函数的条件，仍然是 核函数（核函数要求满足mercer定理 ）。 保形变换图示1： 研究现状： [2003]Gang Wu , Edward Y . Chang , Adaptive Feature-Space Conformal Transformationfor Imbalanced-Data Learning . [2006] Navneet Panda , Edward Y . Chang , Gang Wu ， Concept Boundary Detection for Speeding up SVMs . [2006] Huilin Xiong , Ya Zhang , and Xue-Wen Chen , Data- dependent Kernel Machines for Microarray Data Classification . 改进的动机： [1]是否可以避免提前训练SVM以找出支持向 量这个过程？（支持向量的作用） [2]是否可以使用较少的样例训练出