4-2-SVM分类-软间隔最大化和非线性分类.pdfVIP

支持向量机 （SV M） 翟婷婷 扬州大学 信息工程 （人工智能）学院 zhtt@ 2 02 1年秋 翟婷婷 (扬州大学) 1 课程目标  掌握软间隔最大化思想和线性SV M算法。  理解线性SV M优化问题的等价优化问题。  掌握核技巧和非线性SV M算法。  了解SV M算法的实现。 2 问题的提出  使用感知机和线性可分支持向量机的前提是训练数据集 是线性可分的。  在实际的模式识别问题中，线性可分的问题占少数，并 且还很难去预先判别一个样本集是否是线性可分的。  因此需要更一般的算法，不仅能用在线性可分的数据集 上，也能用在线性不可分的数据集上。  区分两种线性不可分的情况： ① 数据集中存在少量的噪声/异常点导致线性不可分； ② 问题本质上就是线性不可分的。  本节学习支持向量机如何处理两种线性不可分的情况。 3 第一种线性不可分情形—近似线性可分  考虑第一种线性不可分的情况： 数据集中存在少量的噪声/异常样本点导致线性不可分；  噪声/异常样本点存在的原因：模式采集过程中存在噪 声干扰或采集出现误差。 “少量”意味着：去除这 些噪声/异常样本点以 后，剩下的大部分样 本点组成的集合是线 性可分的。 这类分类问题本质上 仍是线性分类问题。 4 线性支持向量机  少量的样本点导致线性不可分意味着，对于少量的样 ⊺ 本点( , ) ，约束 ( + ) ≥ 1不能满足。  解决办法：对每个样本( , )引进一个松弛变量 ≥ 0， ⊺ 使得 ( + ) + ≥ 1，同时要约束松弛变量 的 取值，使其最小化，这样优化问题变为：