分类和预测SVM精要.pptVIP

第四章 分类和预测 4.1 分类和预测的定义 4.2 数据分类方法 决策树 神经网络 SVM 贝叶斯网络 4.3 数据预测方法 线性回归 非线性回归 Support Vector Machine SVM概述 SVM的基本原理 线性可分——硬间隔SVM 线性不可分——软间隔SVM 非线性——核函数 SVM多分类问题 SVM工具 Support Vector Machine SVM概述 SVM的基本原理 线性可分——硬间隔SVM 线性不可分——软间隔SVM 非线性——核函数 SVM多分类问题 SVM工具 SVM概述 支持向量机(Support Vector Machine, SVM)是由Cortes(科尔特斯)和Vapnik(瓦普尼克)于1995年首先提出。 SVM概述 支持向量机(Support Vector Machine, SVM)是由Cortes(科尔特斯)和Vapnik(瓦普尼克)于1995年首先提出。 SVM在解决小样本、非线性等分类问题中表现出许多特有的优势，并能够推广到函数拟合等有关数据预测的应用中。 手写数字识别 人脸识别 文本分类 …… Support Vector Machine SVM概述 SVM的基本原理 线性可分——硬间隔SVM 线性不可分——软间隔SVM 非线性——核函数 SVM多分类问题 SVM工具 SVM的基本原理 SVM是在两类线性可分情况下，从获得最优分类面问题中提出的。 例如：有如下图所示一个两类分类问题，其中“红色空心圆圈”表示一类，“绿色实心正方形”表示另一类。 问题：如何在二维平面上寻找一条直线，将这两类分开。 SVM的基本原理 SVM的基本原理 SVM的基本原理 SVM的基本原理 SVM的基本原理 SVM的基本原理 SVM是在两类线性可分情况下，从获得最优分类面问题中提出的。 最优分类面就是要求分类面(二维情况下是分类线、高维情况下是超平面)不但能将两类正确分开，而且应使分类间隔最大。 SVM的基本原理 SVM是在两类线性可分情况下，从获得最优分类面问题中提出的。 分类间隔：假设H代表分类线，H1和H2是两条平行于分类线H的直线，并且它们分别过每类中离分类线H最近的样本， H1和H2之间的距离叫做分类间隔(margin)。 SVM的基本原理 SVM是在两类线性可分情况下，从获得最优分类面问题中提出的。 SVM就是要在满足条件的众多分类面中，寻找一个能使分类间隔达到最大的那个分类面(二维情况下是分类线、高维情况下是超平面)。 SVM的基本原理 SVM的基本原理 SVM的基本原理 问题：在给定的训练数据集上，如何求得具有最大分类间隔的分类面？ 设：两类线性可分样本集{(x1, y1), (x2, y2), …, (xn, yn)}，其中：xi∈Rd，yi∈{+1, -1}是类别标号，i=1, 2, …, n。 对于线性可分问题，分类超平面的定义如下： 其中，w和b是分类超平面的参数，且w={w1, w2, …, wd}是分类超平面的法向量，b是偏差。 SVM的基本原理 问题：在给定的训练数据集上，如何求得具有最大分类间隔的分类面？ 设：两类线性可分样本集{(x1, y1), (x2, y2), …, (xn, yn)}，其中：xi∈Rd，yi∈{+1, -1}是类别标号，i=1, 2, …, n。 在分类超平面上方的样本，满足如下条件： 在分类超平面下方的样本，满足如下条件： SVM的基本原理 问题：在给定的训练数据集上，如何求得具有最大分类间隔的分类面？ 设：两类线性可分样本集{(x1, y1), (x2, y2), …, (xn, yn)}，其中：xi∈Rd，yi∈{+1, -1}是类别标号，i=1, 2, …, n。 将上面两个公式合并，对所有样本的分类应满足如下公式： SVM的基本原理 问题：在给定的训练数据集上，如何求得具有最大分类间隔的分类面？ 设：两类线性可分样本集{(x1, y1), (x2, y2), …, (xn, yn)}，其中：xi∈Rd，yi∈{+1, -1}是类别标号，i=1, 2, …, n。 为了处理方便，假设所有样本数据(xi, yi)，i=1, 2, …, n，到分类超平面的距离至少为1，则对所有样本数据都满足： SVM的基本原理 SVM的基本原理 SVM的基本原理 在线性可分情况下，SVM通常被描述成一个带有约束条件的优化问题： SVM的基本原理 样本数据是线性不可分时，该怎么办？ SVM的基本原理 样本数据是线性不可分时，该怎么办？ 解决方法1：通过引入松弛变量(slack variables)，来构建软间隔SVM，带约束条件的最优化问题形式如下： SVM的基本原理 样本数据是线性不可分时，该怎么办？ 解决方法1：通过引入松弛变量(slac