支持向量机0612要点.pptVIP

CH.6 支持向量机 支持向量机用于分类 支持向量机用于回归 总结 支持向量机分类 I. 概述 II. 最大间隔分类器（优化最大间隔） III. 软间隔分类器（优化间隔分布） VI. 线性规划支持向量机（优化正乘子之和） I. 概述 支持向量机分类的目的： 开发计算有效的途径，使能在高维特征空间中学习“好”的分类超平面。 “好”—— 优化泛化性的界 “计算有效”—— 能处理巨量数据( 量级) II. 最大间隔分类器 1. 最大间隔分类器问题的推导 2. 支持向量的数目与泛化能力 3. 小结 1. 最大间隔分类器问题的推导 Case 1：样本集 S 在输入空间 X 中线性可分 i）提出最初的相应的优化问题(命题6.1) ii）将原始的优化问题转化为对偶问题(命题6.3) Case 2：样本集 S 在核 K(x,z) 隐式定义的 特征空间中是线性可分的 iii）利用 KKT-互补条件，摆脱优化问题对于 权重向量 w 的显式依赖(命题6.5) iv）引进核函数，进一步摆脱优化问题对于核 特征空间的具体形式的依赖(命题6.6) i）提出最初的相应的优化问题 命题6.1：给定一个线性可分训练样本 求解优化问题 可以得到超平面 (w,b) ，它实现了几何间隔为 的最大间隔超平面。 证明思路： 评注： 证明思路（命题6.1)： 评注： 函数间隔为1的超平面称为正则超平面； 此时，极大化几何间隔 最小化权重向量的范数 ii）将原始的优化问题转化为对偶问题 命题6.3：给定一个线性可分训练样本 并假定参数 是下面的二次优化问题的解 则权重向量 实现了几何间隔为 的最大间隔超平面。 证明思路： 评注： 证明思路（命题6.3)： 评注： 所求假设可以描述为训练点的线性组合 利用原始约束可以得 评注（续） 评注（续） iii）利用 KKT-互补条件，摆脱优化问题对于 权重向量 w 的显式依赖 命题6.5：给定一个线性可分训练样本 假定参数 和 是对偶优化问题(命题6.3)的解, 则权重向量 实现了几何间隔为 的最大间隔超平面。 证明思路： 评注： 证明思路（命题6.5)： iv）引进核函数，进一步摆脱优化问题对于 核特征空间的具体形式的依赖（ 6.6 ） 证明思路（命题6.6)： 评注： 对偶形式下，目标函数和决策函数中的数据仅出现在内积中 核的 Mercer 条件要求，Gram 矩阵 在训练集上是正定的，从而推出此优化问题是凸的，有唯一解 最大间隔分类器可以用间隔和包含原始数据的球半径来计算泛化误差的上界（定理4.18）；但估计式中的多个常数使此值过大，脱离实际 解的稀疏性：最大间隔分类器没有试图控制支持向量的数目，但实践中通常只有很少的支持向量 最大间隔算法仅有的自由度是核函数的选择 2. 支持向量的数目与泛化能力 参见 p.62 节4.4 关于压缩方案的说明： 2. 支持向量的数目与泛化能力（续1） 2. 支持向量的数目与泛化能力（续2） 最大间隔分类器的支持向量的数目越少，其泛化能力越强；且界的良好性能不与特征空间的维数显式相关 不同的核函数产生不同的支持向量，有不同的泛化能力（见图 6.2 的实验） 泛化误差还可以有一个稍严格的界 （留一法得到），但无法保证此界的方差，即其可靠性（对于未知分布的样本集） 关于原著 p.89 图6.2 的说明 3. 小结（最大间隔分类器） 优点： 最简单、最直观，很好展示了SVM 学习器的关键特征，是更加复杂的 SVM 算法的基本模块。 缺点： 总是完美地产生一个没有训练误差的一致假设，只适用于在特征空间中线性可分的数据集；对于带有噪声的数据集，必须使用很强的核函数，此时容易导致过拟合。 3. 小结（最大间隔分类器）（续） III. 软间隔分类器 引进软间隔分类器的必要性 软间隔分类器的推导思路 间隔松弛向量的不同范数对优化问题的影响 小结 1. 引进软间隔分类器的必要性 2. 软间隔分类器的推导思路 在