机器学习（MATLAB版）ch06-支持向量机 教学课件.pptxVIP

支持向量机新工科建设之路·人工智能系列教材机器学习(MATLAB 版)第六章 01支持向量机的基本原理 支持向量机的基本原理直观上看，应该去找位于两类训练样本“正中间”的那个超平面一图61 中粗黑色的那个，因为这个超平面对训练样本局部扰动的“容忍”度最好，即它所产生的分类结果是最鲁棒的，对未见样本的泛化能力最强。 1.线性可分问题可以用一个超平面将两类样本完全分开的分类问题称为线性可分问题。支持向量机的目标是寻找一个分隔超平面，它不仅能正确地对每一个样本进行分类，而且能使每一类样本中距离超平面最近的样本到超平面的距离尽可能远。在样本空间中，分隔超平面可通过如下线性方程来描述: 1.线性可分问题 1.线性可分问题可以消除这个几余，同时简化点到超平面距离的计算公式。这样对分隔超平面的约束变成：式(6.3)可以统一写成下面的形式:如图 6.2 所示距离超平面最近的几个训练样本点使式(6.3)的等号成立，它们被称为“支持向量”，两个异类支持向量到超平面的距离之和称为“间隔”: 1.线性可分问题 1.线性可分问题 1.线性可分问题极小化问题:(6.7)称为支持向量机模型的“原问题”，它本身是一个凸二次规划问题有唯一的极小解，可以直接使用现成的优化计算包来求解，但我们可以有更高效的办法，那就是求解其“对偶问题”。 1.线性可分问题 1.线性可分问题 1.线性可分问题 1.线性可分问题 2.线性不可分问题线性可分的支持向量机通常不具有太多的实用价值，因为在现实任务中样本一般都不是线性可分的。求解线性不可分问题的一个办法是允许支持向量机的分类在一些样本上出现错误。通过引入松弛变量和惩罚因子对违反不等式约束的样本进行惩罚，可以得到如下的极小化问题: 2.线性不可分问题显然，极小化问题(6.17)中每个样本都有一个对应的松驰变量，用以表征该样本不满足约束(6.4)的程度。与极小化问题(6.7) 相似，这仍是一个凸二次规划问题，因而有唯一的极小解。同样，可以证明极小化问题(6.17)满足强对偶性条件，原问题与对偶问题具有相同的最优解。通过拉格朗日乘子法可得到极小化问题(6.17)的拉格朗日函数: 2.线性不可分问题 2.线性不可分问题 02核化支持向量机 核化支持向量机虽然在 6.12节中通过引入松驰变量和惩罚因子可处理线性不可分问题，但得到的支持向量机还是一个线性分类器，只是允许有错分样本的存在。本节通过引入核映射（核函数)使支持向量机成为真正意义的非线性分类器，其决策边界不再是线性的超平面，而可以是形状复杂的超曲面。对于线性不可分问题，例如简单的异或问题，可将样本从原始的特征空间映射到一个更高维的特征空间，使得样本在这个高维特征空间中线性可分。幸运的是，已经证明，如果原始空间是有限维空间，即样本的特征数有限，那么这样的高维特征空间一定存在。 核化支持向量机 核化支持向量机 核化支持向量机求解对偶问题(6.24)或对问题(6.2)后可得到: 核化支持向量机注6.2 若允许核化支持向量机有错分样本的存在，则同样可通过引入松弛变量和惩罚因子得到下面的优化问题: 核化支持向量机 03支持向量回归模型 支持向量回归模型 支持向量回归模型 支持向量回归模型由拉格朗日乘子法可得到式(6.31)的拉格朗日函数: 支持向量回归模型 支持向量回归模型上述过程中需满足 KKT 条件，其中的互补松驰条件为: 支持向量回归模型将式(6.33)代入式(6.8)，则支持向量回归模型的解为: 支持向量回归模型 04支持向量机的MATLAB实现 支持向量机的MATLAB实现MATLAB从7.0版本开始提供对支持向量机的支持主要通过svtrain(训练和svmclassify(分类)两个函数封装了SVM 训练和分类的相关功能。但在新版本中，svmtrair和svmclassify 函数提示已经被移除，为方便用户的使用，MATLAB中针对支持向量机分类和支持向量机回归分别封装了两个函数: tcsvm 和 trsv。由于两者具有极大的相似性，因此使用方法也基本一致。支持向量机分类函数 ftcsvm 在进行分类时，采用的是 SMO(序列最小优化)方法，其主要的调用格式为: 谢谢观看新工科建设之路·人工智能系列教材机器学习(MATLAB 版)