支持向量机分类与回归.docxVIP

支持向量机分类与回归 1 SVM 理论 支持向量机是建立在统计学习理论基础上的一种数据挖掘 方法，可以处理回归问题（时间序列分析）和模式识别（分类问 题、判别分析）等诸多问题。国际上有很多关于SVM的研究报道， 目前已经被成功应用到各种实际问题，如粒子鉴定、脸谱识别、 文本分类、生物信息等。支持向量机的实现原理是：通过某种事 先选择的非线性映射 （核函数） 将输入向量映射到一个高维特征 空间，在这个空间中构造最优分类超平面。 1.1 支持向量机 对于给定的训练样本集（x1, y1）,（ x2, y2）,…，（x, y），如果样本是线性可分离的，设划分超平面 L的方程为：（w x） +b=0,为了使分类面对所有样本正确分类并且具备分类间隔， 就要求它满足如下约束： yi （w x） +b）＞ 1 i=1 , 2,…， 分类间隔为 2/||w|| ，因此建立线性支持向量机的问题转化 为求解如下一个二次凸规划问题： （1） 应用Lagrange乘子法并考虑满足KKT条件，求得最优超平 面决策函数为： 其中，为确定最优划分超平面的参数，为两个向量的点积。 1.2 非线性支持向量机 SVM方法真正价值是用来解决非线性问题。思路是通过一个 非线性映射 ，把样本空间映射到一个高维乃至无穷维的特征空 间。之后根据 Mercer 定理，如果只用到映象的点积，则可以用 相对应的核函数 K（x，y）=