IntroductiontoSVM.pptVIP

如果用fi(x)来表示转换后的问题，假设fi(x)比x的维数要多很多的，那么要计算内积时候的计算量会大大增大，甚至回到不可解的地步。为了解决这个问题，就需要用到一点技巧，也就是核函数，就是这里面的K(x1, x2)。 核函数是这样子的，我们不需要显式地知道fi是什么，也不需要具体知道fi(x)的值是什么，我们只需要知道fi(x)*fi(y)的值就好了。现在定义一个函数，它的值就等于fi(x)*fi(y)，而且这个函数本身量不大，那么就能够解决这个问题。这个函数就叫核函数。 这里有一些常见的核函数，线性核函数就是没有做任何变换了，高斯核需要求摸，但是特征维数还是原来的低维时候的维数，所以计算量不会增加太多。这就是核函数的作用——在基本不增加计算量的提前下把特征空间从低维映射到了高维。这样就能求解一些在低维中不是线性可分的问题。 SVM本质上是要找到一个超平面，把不同的样本点分开，这样的超平面有无限个，SVM要找的是其中分界最大的一个，也就是要最大化边界。使用wx+b=0定义出超平面之后，边界D可以表示为2/w的模长，所以最大化边界问题变成了最小化w的问题。为了使得问题符合二次规划的形式，又变成了最小化w方的问题，为了对偶问题中求导时候的形式比较漂亮，所以写成了1/2w方。然后这个问题要需要满足一定的约束，所以最后原始的svm问题是这样形式，为了降低计算量，会使用拉格朗日成熟法转成对偶问题，也就是这样的形式。 为了对付噪声或者说是离群点，引入了松弛变量，引入松弛变量后形式变成这样。 为了解决低维不是线性可分的情况，尝试把它映射到高维进行解决，但是这样计算量会增加很多，所以就引入了核函数的概念。 Introduction to SVM Zhang Liliang Outline SVM——SVM的概念和目的 Hard Margin SVM——最原始的SVM及其对偶形式 Soft Margin SVM——引入松弛变量 Kernel——解决低维到高维的映射 The Support Vector Machine (SVM) approach The original Support vector machines (SVMs) is a binary classification algorithm. TARGET:Find out a linear decision surface (“hyperplane”) Case 1: Linearly separable data; “Hard-margin” linear SVM Maximize the Gap! Statement of linear SVM classifier Statement of linear SVM classifier SVM optimization problem: Primal formulation Problem Transformation: max D - min w - min w^2 - min 1/2(w^2) Gap(Margin): SVM optimization problem: Dual formulation Case 2: Not linearly separable data;“Soft-margin” linear SVM Parameter C in soft-margin SVM Not linearly separable data: Kernel trick Popular kernels Conclusion SVM：Maximize the Gap(Margin) max D - min w - min w^2 - min 1/2(w^2) Hard-margin: Kernel trick: Soft-margin: Reference /v_july_v/article/details/7624837（支持向量机通俗导论（理解SVM的三层境界）by July） /tutorials/svm15.pdf；（来自卡内基梅隆大学carnegie mellon university(CMU)的讲解SVM的PPT） /downloads/supplements/SVM_Tutorial_2010/Final_WB.pdf（A Gentle Introduction to Support Vector Machines in Biomedicine） Thanks~ 最原始的SVM是用来解决二分类的问题。是要找到一个超平面来把特征空间中不同的样本给区分开 如果特征空间是N维，那么用来决策的超平面就应该是N-1的 比如下面两个图，一个是解决二维的分类问题，用的是一维的超平面，也就是一根直线，而另外一个是