课件：第章支持向量机和核函数.ppt

SVM package 参考示例 /yb536/article/detailsTHANK YOU SUCCESS * * 可编辑 * 当某个约束条件不满足时，例如?yi(wTxi+b)1，那么我们显然有?θ(w)=∞（只要令?αi=∞?即可）。而当所有约束条件都满足时，则有?θ(w)=12∥w∥2?，亦即我们最初要最小化的量。因此，在要求约束条件得到满足的情况下最小化?1/2 *∥w∥^? 实际上等价于直接最小化?θ(w)??? ? 原问题 -》 二次凸优化问题（已有很好的体系来解决此类问题） -》 对偶问题（将约束条件加入到目标函数内） -》 SMO优化问题（可以省略） 具体细节见 参考资料 内积 ，为核函数引入奠定基础。 R5空间无法显示，动态图为映射到R3空间的效果。 * * 点积核：输入的相似性 4、Sigmoid核函数： ( 、 是给定的常数） 这时，目标函数为： 相应分类函数为： 这就是支持向量机 核方法的要点 通过将输入空间映射到高维空间（特征空间），然后在高维空间中用线性方法 高维：维数灾难 通过核技巧，避免维数灾难 核方法的要点 核技巧(kernel trick ) ：寻找一个映射 和一个学习方法，使得 F的维数比X高 , 因此模型更丰富 算法只需要计算点积 存在一个核函数，使得 在算法中任何出现项 的地方，用 代替 点积核 非线性SVM和核函数总结 * * 1.如何解决少量非线性可分样本？ * 内容提要 2.如何解决大量非线性可分样本？ 3.核函数方法（Kernel Trick） * 基本思想：通过训练误差和类间宽度之间的权衡，得到一个最优超平面。 1. 线性SVM求解含少量非线性可分样本的思想 优化目标： 约束条件： 权衡因子 松弛变量 * 1类样本：位于分类间隔之外 * 类似的，通过Lagrange函数，转化为对偶问题 1类样本 2类样本 3类样本 2类样本：支持向量 3类样本：位于分类间隔之内 * 不同的权衡因子得到的不同的分类面 C＝10 C＝1000 * 2.非线性支持向量机 当线性支持向量机划分样本会产生过多训练误差时，需要考虑使用非线性分类面对两类样本进行划分。 * 2.1 寻找非线性问题的三种思路 思路1:原空间法 在原空间中直接求解非线性问题 * 例1：XOR问题 思路2 :特征空间法 将非线性问题的求解转换成另一个空间中的线性问题求解 * 例2：物种分类问题 * 寻找特征映射Ф所面临的问题： 1. 特征映射Ф的确定往往需要相当高的技巧和相当专业的领域知识； 3. 特征映射Ф往往是一个低维向高维映射的过程，这个映射过程经常面临维数灾难。 2. 特征映射Ф的计算可能会相当复杂； * 思路3. 核函数方法 优化问题： 判别函数： 样本之间的内积 结 论： 构建支持向量机只需要知道任意两个样本之间的内积定义，无需知道样本点自身的特征表示 构建到特征空间的隐式映射 * 2.2 线性SVM通过核函数扩展为非线性SVM 线性SVM: 假设经过某种非线性特征映射后原来的非线性可分问题可以通过线性SVM来解决，则在特征空间中的判别函数可以表示为： * 其中 通过求解如下的优化问题得到： 利用核函数将非线性问题转化为线性问题的手段和方法称之为核函数方法。 * 例：XOR问题中我们构造了一个非线性映射实现了特征的升维： 样本点在新的特征空间中的内积为： 核函数描述了样本点在经过某种特征变换后，在新的特征空间中的内积。 * 优化问题： 判别函数： 线性支持向量机 非线性支持向量机 利用支持向量机求解异或问题的结果示意图 核函数 * 3.1 核函数的定义 定义 核函数是一个对称函数，对所有的 满足： 特征空间中的内积运算的充分必要条件是，对于任意的 ，它是某个 这里 是从X到内积特征空间F 的映射。 Mercer定理 对于任意的对称函数 且 有 * 3 核函数方法 推论 令X是有限输入空间，K(x , z)是X上的对称函数。那么K(x , z)是核函数的充要条件是矩阵： 是半正定的。 常用的核函数： 多项式核函数 高斯核函数 sigmoid核函数 * 3.2 核函数的构造 令K1和K2是X*X上的核，f(?)是X上的一个实值函数。B是一个对称半正定矩阵。那么下面的函数是核函数： 从核函数中构造 从特征中构造 从相似性度量中构造 * * 3.3 核函数的可分性 定理2：样本点D在核函数k(x,y)导出的特征映射下线性可分的充要条件是，下列方程组不存在非负解： 其中， * 3.3 核函数的可分性