大数据十大经算典法SVM讲解PPT.pptVIP

数据挖掘十大算法之 SVM 程广兵 2014.12.22 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile . Copyright 2004-2011 Aspose Pty Ltd. 分类 概念： 通过构造一个分类函数或分类器的方法，该方法能把数据库中的数据项映射到给定类别中的某一个，从而可以用于预测未知数据。 数据： 线性可分 线性不可分 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile . Copyright 2004-2011 Aspose Pty Ltd. 什么是SVM 全名：Support Vector Machine（支持向量机） 支持向量：支持或支撑平面上把两类类别划分开来的超平面的向量点。 机：一个算法 基于统计学习理论的一种机器学习方法。简单的说，就是将数据单元表示在多维空间中，然后对这个空间做划分的算法。 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile . Copyright 2004-2011 Aspose Pty Ltd. SVM的特点 SVM是建立在统计学习理论的VC维理论和结构风险最小原理基础上的，根据有限的样本信息在模型的复杂性之间寻求最佳折衷，以期获得最好的推广能力（或泛化能力）。 核函数 松弛变量 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile . Copyright 2004-2011 Aspose Pty Ltd. 线性分类 1 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile . Copyright 2004-2011 Aspose Pty Ltd. 线性分类 1 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile . Copyright 2004-2011 Aspose Pty Ltd. 线性分类 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile . Copyright 2004-2011 Aspose Pty Ltd. 最优标准：分类间隔 对于给定的训练数据集T和超平面（w,b），定义超平面（w,b）关于样本点（xi,yi）的函数间隔为 对于给定的训练数据集T和超平面（w,b），定义超平面（w,b）关于样本点（xi,yi）的几何间隔为 ||w||叫做向量w的范数,WX的p范数为 ||w||p=(X1^p+X2^p+...+Xn^p）^(1/p) 函数间隔和几何间隔的关系? = ? / ||w|| （1） Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile . Copyright 2004-2011 Aspose Pty Ltd. 最优标准：分类间隔 H2与H之间的间隔便是几何间隔。其中H1：wx+b = 1；H2：wx+b = -1； 定义超平面（w,b）关于训练数据集T的函数间隔为超平面（w,b）关于T中所有样本点（xi,yi）的函数间隔之最小值，即 同理 最终问题转化成为求最大?值。（ps:我的理 解 在找到几何间隔?后，就要使H1和H2尽可能 的离H远，这样分类就更有说服力） Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile . Copyright 2004-2011 Aspose Pty Ltd. 在H1和H2上的点就叫做支持向量 H1和H2之间的距离称为间隔，间隔依赖于法向量w,等于2/||w||,H1和H2称为间隔边界 由等式（1），可将问题写为 求最大的? Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile . Copyright 2004-2011 Aspose Pty Ltd. 由于函数间隔?不影响最优化问题的解，这样可以取?=1，由于最大化1/||w||和最小化 1/2* ||w||* ||w||问