支持向量分类机原理概要.ppt

提纲 SVM有关概念介绍 SVM分类问题的数学表示和推导 简单的最优分类面 广义最优分类面 非线性最优分类面 SVM分解算法 History SVM是一种基于统计学习理论的机器学习方法，它是由Boser,Guyon, Vapnik在COLT-92上首次提出，从此迅速发展起来，目前已经在许多智能信息获取与处理领域都取得了成功的应用。 关于SVM 思想： 通过某种事先选择的非线性映射（核函数）将输入向量映射到一个高维特征空间，在这个空间中寻找最优分类超平面。使得它能够尽可能多的将两类数据点正确的分开，同时使分开的两类数据点距离分类面最远。 途径： 构造一个约束条件下的优化问题，具体说是一个带线性不等式约束条件的二次规划问题(constrained quadratic programing),求解该问题，构造分类超平面，从而得到决策函数。 提纲 SVM有关概念介绍 SVM分类问题的数学表示和推导 简单的最优分类面 广义最优分类面 非线性最优分类面 SVM分解算法 分类问题的数学表示 已知：训练集包含 个样本点： 说明： 是输入指标向量，或称输入，或称模式，其分 量称为特征，或属性，或输入指标； 是输出指标，或输出. 问题：对一个新的模式 ，推断它所对应的输出 是1还是-1. 实质：找到一个把 上的点分成两部分的规则. 根据给定的训练集 其中， ，寻找 上的一个实 值函数 ，用决策函数 判断任一模式 对应的 值. 可见，分类学习机——构造决策函数的方法(算法)， 两类分类问题 多类分类问题 线性分类学习机 非线性分类学习机 最大间隔原则 考虑图1.2.1(a)—— 上的线性可分的分类问题. 这里有许多直线 能将两类点正确分开. 如何选取 和 ？ 简单问题：设法方向 已选定，如何选取 ？ 解答： 选定 平行直线 极端直线 和 取 和 的中间线为分划直线 如何选取 ？ 对应一个 ，有极端直线 ，称 和 之间的距 离为“间隔”.显然应选使“间隔”最大的 。 求解原始问题？ 为求解原始问题，根据最优化理论，我们转化为对偶问题来求解 1. 线性可分问题 2. 近似线性可分问题 2. 近似线性可分问题 算法： (广义)线性支持向量分类机 3. 非线性分划 3. 非线性分划 3. 非线性分划 3. 非线性分划 3. 非线性分划 3. 非线性分划 实现非线性分划的思想 提纲 SVM有关概念介绍 SVM分类问题的数学表示和推导 简单的最优分类面 广义最优分类面 非线性最优分类面 SVM分解算法 实现非线性分划的思想 决策函数 其中 核函数(核或正定核)定义 设 是 中的一个子集。称定义在 上的函数 是核函数(正定核或核)，如果存在着从 到某一个 空间 的映射 使得 其中 表示 中的内积 核函数的选择 多项式内核 径向基函数内核RBF Sigmoind内核 目前研究最多的核函数主要有三类： 得到q 阶多项式分类器 每个基函数中心对应一个支持向量，它们及输出权值由算法自动确定 包含一个隐层的多层感知器，隐层节点数是由算法自动确定 * * Support Vector Classification Doctoral Seminar 数据挖掘中的新方法－支持向量分类机原理 中科院计算所智能开放室 曾立 zengl@ics.ict.ac.cn a yest denotes +1 denotes -1 f x f(x) = sgn(w. x + b) Copyright ? 2001, 2003, Andrew W. Moore How would you classify this data? a yest denotes +1 denotes -1 f x f(x) = sgn(w. x + b) Copyright ? 2001, 2003, Andrew W. Moore How would you classify thi