人工智能 支持向量机.pptxVIP

支持向量机

1、线性可分情况下的支持向量机

1）支持向量机的定义：支持向量机是一个特殊的线性分类器 ，其分类面

满足（1）分类面与两类样本间的距离相等。

（2）分类面与两类样本间的距离最大。

支持向量（supportvector）的定义：见图;2）线性鉴别函数与分类面的对应关系;3）支持向量机设计的目的，本质上是寻求一个距离最大化的等距离分类面。对于任意一个等距离的分类面，必然有无穷多个线性鉴别函数与其对应。在这些鉴别函数中，必然存在一个;该鉴别函数 满足如下性质：

对“支持向量” ：

对“非支持向量” ：

两类样本间的间隔（Margin）:;4）支持向量机的数学描述：寻求一个鉴别函数

，满足如下条件：

（1） 取得最大值。

（2）

该问题等价于求解如下约束条件下的优化问题：minimize: ……优化问题1subjectto:;5）约束条件下优化问题的求解

（1）拉格朗日函数的定义：;（2）优化问题1的最优解

存在拉格朗日因子 ，使得;（3）优化问题1的对偶问题：maximize:

subjectto:;（4）最优 的求解

根据约束条件下的优化问题的求解方法求解问题2，得到 。

根据下式求解 ：

根据KKT条件求解 ：

支持向量的定义：每一个 都对应于一个 ，;2、非线性可分情况下的支持向量机

（1）样本集非线性可分条件下的问题描述：

在非线性可分条件下，不存在一个 满足：;因此，可以提出一个如下的优化问题：

minimize: ……问题3subjectto:;（2）最优解 的性质

拉格朗日函数的定义：;KKT条件：最优解;（3）问题3的对偶问题：maximize：

subjectto：;（4）最优 的求解

根据约束条件下的优化问题的求解方法求解问题4，得到 。

根据下式求解 ：

根据KKT条件求解 ：