人工智能 支持向量机试题 .ppt

支持向量机 1、线性可分情况下的支持向量机 1）支持向量机的定义：支持向量机是一个特殊的线性分类器 ，其分类面 满足（1）分类面与两类样本间的距离相等。 （2）分类面与两类样本间的距离最大。 支持向量（support vector）的定义：见图 课件 课件 课件 2）线性鉴别函数与分类面的对应关系 线性鉴别函数与分类面不是一一对应的。每一个分类面有无穷多个鉴别函数与其相对应。 课件 3）支持向量机设计的目的，本质上是寻求一个距离最大化的等距离分类面。对于任意一个等距离的分类面，必然有无穷多个线性鉴别函数与其对应。在这些鉴别函数中，必然存在一个线性鉴别函数 满足|g(x0)|=1, 其中 为“支持向量”。对于任意一个给定的等距离分类面，仅需考虑这样的鉴别函数 。此时分类面距两类样本的间距为 课件 该鉴别函数 满足如下性质： （1）对“支持向量” ： （2）对“非支持向量” ： （3）两类样本间的间隔（Margin）: 课件 4）支持向量机的数学描述：寻求一个鉴别函数 ，满足如下条件： （1） 取得最大值。 （2） 该问题等价于求解如下约束条件下的优化问题： minimize : ……优化问题1 subject to: 课件 5）约束条件下优化问题的求解 （1）拉格朗日函数的定义： 课件 （2）优化问题1的最优解 满足如下条件：存在拉格朗日因子 ，使得 满足： 课件 （3）优化问题1的对偶问题： maximize : subject to : 该问题等价于： … 问题2 subject to: 课件 （4）最优 的求解 根据约束条件下的优化问题的求解方法求解问题2，得到 。 根据下式求解 ： 根据KKT条件求解 ： 支持向量的定义：每一个 都对应于一个 ， 如果 ，则称 为支持向量。给定训练样 本集，最优的 完全由支持向量决定。 课件 2、非线性可分情况下的支持向量机 （1）样本集非线性可分条件下的问题描述： 在非线性可分条件下，不存在一个 满足： 但是，存在 满足如下条件：对于任意的 ， 存在 使得： 课件 因此，可以提出一个如下的优化问题： minimize : …… 问题3 subject to: 课件 课件 （2）最优解 的性质 拉格朗日函数的定义： 课件 KKT条件：最优解 满足如下条件： 课件 （3）问题3的对偶问题： maximize： subject to： 该问题等价于： …问题4 subject to: 课件 （4）最优 的求解 根据约束条件下的优化问题的求解方法求解问题4，得到 。 根据下式求解 ： 根据KKT条件求解 ： 课件 课件