支持向量机说课.ppt

* 第四章 支持向量机 (SVM——Support Vector Machine) 第*页 第四章 支持向量机 (SVM——Support Vector Machine) 举例: 心脏病与年龄和胆固醇水平相关。表中数据是调查结果，其中X=(x1,x2)表示特征矢量， y = 1/-1表示是/否患病。 编号 年龄 x1 胆固醇x2 患病否y 1 56 192 -1 2 55 205 1 3 70 177 1 4 74 155 --1 5 59 198 1 6 68 171 --1 图中把患病与否作为一个二维、两类识别问题，希望由化验数据X(x1, x2)判断一个人是否有患心脏病的危险。 尽管在两类之间可以找到无穷多个分类线。但，只有唯一的一个最宽的“边带(Margin)”，其中心线是最佳的分类线。 * §4.1 概 述 一、分类问题与机器学习 第四章 支持向量机 (SVM——Support Vector Machine) 支持向量机的目的是找到两类之间最宽的边带，并将其中心线作为判别函数。 * 第四章 支持向量机 (SVM——Support Vector Machine) 第*页 二、两类可分问题的线性分类机 对于图示线性问题，假设待求分类直线为： 式中： 表示矢量的点积； W0 是直线 g(X) 的法线矢量； 是直线 g(X) 与原点之间距离。 给定 N 个学习样本 寻找直线 l “将所有数据正确分类”，意思是对所有样本，直线 l 应满足： 当 ，即类别值为 时，有 ，亦即： 当 ，即类别值为 时，有 ，亦即： 该直线决定的上、下边界线分别为： SVM的目标：正确分类前提下寻找使 k 最大的直线 g(X)。 k 最大等价于边带最宽。 边带的宽度为 或，记作： 第*页 分类函数及上下边界： 各项同除以 k，再令： 得到： SVM的目标 “正确分类” 前提下寻找最宽边带问题，成为寻找最小 ||W||问题： * 在上式约束条件中，用类别值 yn 乘相应的约束不等式： SVM两类线性分类机，对应于约束优化问题： (4-8) 第四章 支持向量机 (SVM——Support Vector Machine) 则： 约束优化问题： 当样本 Xn 属于C1类时 yn = 1 ， 于是 ， 此时 当样本 Xn 属于C2类时 yn = -1， 仍有 此时 ， * 第*页 2、解优化问题： 得到 W* 和 b* (4-9) (4-10) 第四章 支持向量机 (SVM——Support Vector Machine) 1、学习样本 其中： ， 3、构造分类函数 并且： 则判定： 则判定： 两类线性可分问题的SVM分类机： 任意的未知样本 X ，如果： 预测最优与结构最优 预测最优：已知两类问题的真实分布，以一定的风险概率划定分类线。 结构最优：根据实测数据分布，划定某个结构上最优的分类线。 * 第*页 控制参数，即变量为 W 和 b，目标函数是控制参数的二次函数，在一系列不等式约束条件下寻找最优点——不等式约束的二次规划问题。性质：拥有唯一最优点。 §4-2. 求解线性分类问题的优化方法 一、优化问题的几个基本定义和定理 第四章 支持向量机 (SVM——Support Vector Machine) 定义(无约束问题的全局极小点或整体解)：称 是目标函数 的全局 最优解，如果对于任意的 都有 。如果对于任意的 有 则 称为严格全局最优点。 定义 (约束问题的全局极小点或整体解)：设 是目标函数 的可行域，称 在 D上的最优解，如果 是目标函数 对于任意的 都有 。如果对于任意的 都有 则称 是 在 D上的严格最有点。 * 第四章 支持向量机 (SVM——Support Vector Machine) 第*页 给定目标函数 和约束条件 D上求函数 最优点(最小值)的问题，称为“约束优化问题”，记作： ，在可行域 和任意的 定义(凸集)：如果在集合 S 中任意两个元素 都有 成立，则称集合 S 为凸集。 ，如果存在非负实数 定义(凸组合)：设有 并且 ，则称 是 S 上的一个凸组合。 非空，任意给定该集合上的两个元素 定义(凸函数)：设 以及 都有 则称 f(X) 是集合 S 上的凸函数。如果 时不等号成立，则称 f(X)为严格凸函数。 * 第*页 几何意义：函数增量大于全微分 二、凸优化问题的最优性条件 第四章 支持向量机 (SVM——Support Vector Machine) 定理(凸函数成立的充要条件)：设 是非空集合， 如果任给 都有 ，则称 f(X)是定义在 S上的凸函数。其中 表示梯度。 定理(凸无约束问题解的充要条件)：设 f(X) 是RM上的连续可微凸函数，则 X*