支持向量机算法以及Libsvm具箱介绍.pptxVIP

支持向量机算法以及Libsvm工具箱介绍 汇报人：ctj y=a.x+b Support vector machine 图1 SVM原理介绍 SVM优化算法 SVM常用工具箱 Libsvm函数 参数优化 一元回归方程 Y=w.X+b 长度为 间隔=w.w Y=w.X+b Support vector machine 图2 SVM原理介绍 SVM优化算法 SVM常用工具箱 Libsvm函数 参数优化 Support vector machine SVM原理介绍 SVM优化算法 SVM常用工具箱 Libsvm函数 参数优化 样本数据集为线性时，f(x)可以表示为： 求解以下二次优化问题，得到向量w 允许误差存在，引入松弛变量 , ，得到以下问题 其中C为对估计误差大于 的样本数据的惩罚因子。 SVM原理介绍 SVM优化算法 SVM工具箱介绍 Libsvm函数 参数优化 引入Lagrange函数： 其中 η,η,α,α为Lagrange乘子，满足： 由此得到该问题的KKT条件。 SVM原理介绍 SVM优化算法 SVM工具箱介绍 Libsvm函数 参数优化 KKT条件: SVM原理介绍 SVM优化算法 SVM工具箱介绍 Libsvm函数 参数优化 由KKT条件将Lagrange函数转换成对偶规划问题: 通过求解该对偶问题求解 (1) (2) 由KKT条件的 ，然后求出b 所以最终表达式变成 SVM原理介绍 SVM优化算法 SVM工具箱介绍 Libsvm函数 参数优化 非线性回归函数估计决策函数： 多项式核函数： 径项基核函数： Sogmiod核函数： SVM优化算法 Libsvm工具箱 Libsvm函数 参数优化 SVM原理介绍 LIBSVM LIBSVM是台湾大学林智仁(Lin Chih-Jen)副教授等开发设计的一个简单、易于使用和快速有效的SVM模式识别与回归的软件包，他不但提供了编译好的可在Windows系列系统的执行文件，还提供了源代码，方便改进、修改以及在其它操作系统上应用；该软件对SVM所涉及的参数调节相对比较少，提供了很多的默认参数，利用这些默认参数可以解决很多问题；并提供了交互检验(Cross Validation)的功能。该软件包可在.tw/~cjlin/免费获得。该软件可以解决C-SVM、ν-SVM、ε-SVR和ν-SVR等问题，包括基于一对一算法的多类模式识别问题。 SVM优化算法 SVM工具箱介绍 Libsvm函数 参数优化 SVM原理介绍 Svmtrain（）函数 Svmtrain函数用于训练支持向量机模型，选择相关参数和训练样本就能够输出一个结构体model，model中包含模型表达式中全部参数。 model=svmtrain(Ytrain,Xtrain, ‘-s 3 -t 1 -h 0 –d 1 -c 0.1 –p 2’); Svmpredict函数用于预测，将模型和预测样本输入就能够输出预测数据，以及预测精度。 [T, accuracy, prob_estimates] = svmpredict(Ytest,Xtest,model); Svmpredict（）函数 SVM优化算法 SVM工具箱介绍 Libsvm函数 参数优化 SVM原理介绍 Model主要参数介绍 model = Parameters: [5x1 double] nr_class: 2 totalSV: 328 rho: -3.2425 Label: [] ProbA: [] ProbB: [] nSV: [] sv_coef: [328x1 double] SVs: [328x2 double] 模型参数 支持向量 支持向量数目 支持向量系数 -b SVM优化算法 SVM工具箱介绍 Libsvm函数 参数优化 SVM原理介绍 二折法 将原始数据集DataSet均分为两份：一份作为训练集，即trainingSet，一份作为测试集，即testingSet，然后用训练集去做训练，用测试集去验证；之后再将训练集作为测试集，测试集作为训练集进行迭代一次，将两次所