6.4分类和预测-支持向量机讲解.pptVIP

数据挖掘与知识发现 第六章 分类和预测 数据挖掘与知识发现 Outline 支持向量机概述 线性支持向量机 非线性支持向量机 核函数 研究现状与应用 支持向量机概述 1963年，Vapnik在解决模式识别问题时提出了支持向量方法,这种方法从训练集中选择一组特征子集,使得对特征子集的划分等价于对整个数据集的划分,这组特征子集就被称为支持向量(SV)。 1971年，Kimeldorf提出使用线性不等约束重新构造SV的核空间,解决了一部分线性不可分问题。 1990年，Grace,Boser和Vapnik等人开始对SVM进行研究。 1995年，Vapnik正式提出统计学习理论。 支持向量机概述 SVM从线性可分情况下的最优分类面发展而来。 最优分类面就是要求分类线不但能将两类正确分开(训练错误率为0),且使分类间隔最大。 SVM考虑寻找一个满足分类要求的超平面,并且使训练集中的点距离分类面尽可能的远,也就是寻找一个分类面使它两侧的空白区域(margin)最大。 过两类样本中离分类面最近的点且平行于最优分类面的超平面上H1,H2的训练样本就叫做支持向量。 Outline 支持向量机概述 线性支持向量机 非线性支持向量机 核函数 研究现状与应用 线性支持向量机——可分情况 线性支持向量机——可分情况 线性支持向量机——可分情况 假定训练数据 可以被一个超平面分开 我们进行正归化 此时分类间隔等于 使最大间隔最大等价于使 最小 线性支持向量机——可分情况 最优分类面问题可以表示成约束优化问题 Minimize Subject to 定义Lagrange函数 线性支持向量机——可分情况 Lagrange函数 一个简单的例子 一个简单的例子 线性支持向量机——不可分情况 很多情况下，训练数据集是线性不可分的，Vapnik等人提出了用广义分类面（松弛子）来解决这一问题。 Outline 支持向量机概述 线性支持向量机 非线性支持向量机 核函数 研究现状与应用 非线性支持向量机 非线性问题——通过非线性变换将它转化为某个高维空间中的线性问题，在这个高维空间中寻找最优分类面。 高维空间中的最优分类面 分类函数只涉及到训练样本之间的内积运算(xi·xj),因此,在高维空间中只需进行内积运算,这种内积运算可通过定义在原空间中的函数来实现, 甚至不必知道变换的形式。 SLT指出,根据Hibert-Schmidt原理,只要一种运算满足Mercer条件,就可以作为内积使用。 Mercer条件 非线性支持向量机 在最优分类面中采用适当的内积函数就可以实现某一非线性变换后的线性分类,而计算复杂度却没有增加。 非线性支持向量机 Outline 支持向量机概述 线性支持向量机 非线性支持向量机 核函数 研究现状与应用 核函数 SVM中不同的内积核函数将形成不同的算法,主要的核函数有三类： 多项式核函数 径向基函数 S形函数 Outline 支持向量机概述 线性支持向量机 非线性支持向量机 核函数 研究现状与应用 研究现状 应用研究 支持向量机研究 支持向量机算法研究 应用研究 SVM的应用主要于模式识别领域 贝尔实验室对美国邮政手写数字库进行的实验 主要应用领域 手写数字识别 语音识别 人脸识别 文本分类 支持向量机研究 如何针对不同的问题选择不同的核函数仍然是一个悬而未决的问题。 标准的SVM对噪声是不具有鲁棒性的,如何选择合适的目标函数以实现鲁棒性是至关重要的。 支持向量机算法研究 支持向量机的本质是解一个二次规划问题,虽然有一些经典（如对偶方法、内点算法等）,但当训练集规模很大时,这些算法面临着维数灾难问题。为此,人们提出了许多针对大规模数据集的SVM训练算法。 支持向量机算法研究（续1） 思路1：分解子问题 块算法 SMO算法(Sequential Minimal Optimization) 思路2：序列优化 思路3：近邻SVM 支持向量机算法研究（续2） 训练SVM的绝大多数算法都是针对分类问题,只有一小部分算法考虑了回归函数的估计问题。 提高算法效率、降低复杂度。 总结 SVM在模式识别、回归函数估计、预测等大量应用中取得了良好的效果 SVM存在两个主要问题： 二次规划的训练速度 核函数的选择 前途是光明的，道路是曲折的。 4.0% SVM 5.9% 最好的两层神经网络 16.2% 决策树C4.5 2.5% 人工表现 错误率 分类器 SVM与神经网络（NN）的对比 SVM的理论基础比NN更坚实，更像一门严谨的“科学”（三要素：问题的表示、问题的解决、证明） SVM —— 严格的数学推理 NN —— 强烈依赖于工程技巧 推广能力取决于“经验风险值”和“置信范围值”，NN不能控制两者中的任何