支持向量机材料.ppt

第五章 支持向量机 内容提要 §1 引言 §2 统计学习理论 §3 线性支持向量机 §4 非线性支持向量机 §5 支持向量回归 §6 支持向量聚类 §1 引言 一. SVM (Support Vector Machine)的历史 神经网络分类器，Bayes分类器等是基于大样本学习的分类器。 Vapnik 等从1960年开始关于统计学习理论的研究。统计学习理论是关于小样本的机器学习理论。 1992年支持向量机首次被引入。1995年Vapnik发展了支持向量机理论。支持向量机是基于统计学习理论的一种实用的机器学习方法。 二. SVM 的发展⒈ SVM理论的发展: 最小二乘支持向量机(LS – SVM) 多分类支持向量机(M-SVM) 支持向量回归(SVR) 支持向量聚类(SVC) ⒉ SVM与计算智能的融合: 神经网络+支持向量机 模糊逻辑+支持向量机 遗传算法+支持向量机 小波分析+支持向量机 主分量分析+支持向量机 粗糙集理论+支持向量机 三. SVM的应用 数据与文本分类 系统建模及预测 模式识别(图像及语音识别，生物特征识别) 异常检测(入侵检测，故障诊断) 时间序列预测 §2 统计学习理论 一. 两分类问题 给定 l 个观测值: , i = 1, 2, ..., l ? Rn 每个观测值与一个标记相连: , i = 1, 2, ..., l ? {土1} 对于 (2-类) 分类, 建立一个函数: : 表示函数的参数 使得 f 能正确地分类未学习过的样本 二.期望风险与实验风险 期望风险最小化 其中 x, y的联合概率 P(x, y) 是未知的 实验风险最小化 实验风险是由在训练集上测得的平均误差所确定的 如果训练样本的个数是有限的,则实验风险最小化的方法不保证有高推广能力 三. VC理论 VC (Vapnik-Chervonenkis)维数 分类函数 的集合F的VC维数 p=VCdim(F) 定义 (Vapnik–Chervonenkis). 函数 的集合F的VC 维数是p, 当且仅当存在点集 {xi}pi=1 使得这些点能够被所有 2p 种可能的分类方式分开,且不存在集合 {xi}qi=1 ( q p )满足这一性质。 在 n 维空间中,超平面集合的VC维数等于n + 1 。 VC维数刻画了“可能近似正确”意义上的学习能力。 例:VC维数 四. 结构风险最小化 VC 理论引入期望风险的边界, 它依赖于实验风险与 F的能力。 这些边界的最小化导出结构风险最小化原理:实验风险与 VC 可信度之和为最小 其中 h 与VC 维数有关,是能力概念的一种测度 支持向量机是基于结构风险最小化原理构造的一种学习机 §3 线性支持向量机一. 两分类问题: 线性分割情形 许多决策边界可以分割这些数据点出为两类 我们选取哪一个? 坏的决策边界的例子 好的决策边界: 间隔大 决策边界离两类数据应尽可能远 最大化间隔 m 二. 最优化问题 设 {x1, ..., xn} 为数据集, yi ? {1,-1} 为xi 的类标记 要求决策边界正确地分类所有的点 T 于是得到一个带有约束的优化问题 将上述最优化问题转换成其对偶问题: 取Lagrange函数 Φ(w,b;α)=1/2‖w‖2 –∑n i=1 αi (yi[(w,xi)+b] –1) 则对偶问题由 max αW(α)=max α(minw,b Φ(w,b;α)) 给出。由 minw,b Φ(w,b;α) 得 ? Φ/ ? b=0 ? ∑n i=1 αiyi=0 ? Φ/ ? w =0 ? w=∑n i=1 αiyixi 于是得到对偶问题 这是一个二次规划 (QP) 问题 ai的全局最大值总可以求得 W的计算 解得α*=argmin α1/2∑n i=1∑n i=1 αi αjyiyj xi,xj –∑n k =1 αk w*=∑n i=1 αiyixi,