数据挖掘导论__第5章_分类_55-SVM-2017.pptVIP

非线性支持向量机的基本工作原理 对非线性可分的问题，可以利用核变换，把原样本映射到某个高维特征空间，使得原本在低维特征空间中非线性可分的样本，在新的高维特征空间中变得线性可分，并使用线性支持向量机进行分类。 非线性 SVM 核技术 Mercer定理: 核函数K可以表示为K(u, v) = ?(u)??(v), 当且仅当对于任意满足g(x)2dx为有限值的函数g(x)，则K(x, y) g(x) g(y) dx dy≥0 满足定理5.1的核函数称为正定（positive definite）核函数 常用核函数 SVM的特点 SVM学习问题可以表示为凸优化问题，因此可以利用已知的有效算法发现目标函数的全局最小值 SVM通过最大化决策边界的边缘来控制模型的能力 需要提供其他参数，如使用的核函数类型、为了引入松弛变量所需的代价函数C等 分类属性处理 每个分类属性值引入一个哑变量, 转化为二元变量 例如，如果婚姻状况有3个值{单身，已婚，离异}，可以对每一个属性值引入一个二元变量 可以推广到多类问题 多类问题 SVM是对二类问题设计的 还有一些方法也是针对二类问题的 如何处理多类问题? 训练 令Y = {y1, y2,..., yK}是类标号的集合 1-r方法 : 分解成K个二类问题 每一个类yi?Y创建一个二类问题, 其中所有属于yi的样本都被看作正类, 而其他样本作为负类 1-1方法 : 构建K(K ? 1)/2个二类分类器 每一个分类器用来区分一对类(yi, yj) 为类(yi, yj)构建二类分类器时, 不属于yi或yj的样本被忽略掉 常用的SVM程序 LIBSVM： .tw/~cjlin/ mySVM http://www-ai.cs.uni-dortmund.de/SOFTWARE/MYSVM/ SVM-Light /People/tj/svm_light/ …… matlab的SVM函数使用 1、数据预处理 2、数据载入、归一化 3、训练SVM分类器（svmtrain） 4、分类 可选的步骤： 交叉检验，选择最优的核函数和参数 svmtrain和svmclassify函数 Svmtrain：Train support vector machine classifier（训练SVM分类器） 语法及调用参数： SVMStruct = svmtrain(Training, Group) SVMStruct = svmtrain(..., Kernel_Function, Kernel_FunctionValue, ...) SVMStruct = svmtrain(..., RBF_Sigma, RBFSigmaValue, ...) SVMStruct = svmtrain(..., Polyorder, PolyorderValue, ...) SVMStruct = svmtrain(..., Mlp_Params, Mlp_ParamsValue, ...) SVMStruct = svmtrain(..., Method, MethodValue, ...) SVMStruct = svmtrain(..., QuadProg_Opts, QuadProg_OptsValue, ...) SVMStruct = svmtrain(..., SMO_Opts, SMO_OptsValue, ...) SVMStruct = svmtrain(..., BoxConstraint, BoxConstraintValue, ...) SVMStruct = svmtrain(..., Autoscale, AutoscaleValue, ...) SVMStruct = svmtrain(..., Showplot, ShowplotValue, ...) svmtrain和svmclassify函数 核函数的选择： Kernel_FunctionValue String or function handle specifying the kernel function that maps the training data into kernel space. Choices are: linear — Default. Linear kernel or dot product. quadratic — Quadratic kernel. rbf — Gaussian Radial Basis Function kernel with a default scaling factor, sigma, of 1. polynomial — Polynomial