支持向量机分析课件.ppt

描述函数的值 1 2 4 5 6 第2类 第1类 第1类 §5 支持向量回归一.最小二乘法 x f(x) ?i 求 解: 二. 线性支持向量回归 (SVR) 约束: +? -? 0 求解: x f(x) 线性支持向量回归 (SVR) 最小化: x f(x) +? -? 0 ? ?* 约束: Lagrange 最优化 目标函数 约束条件 回归公式 回归公式: 性质: 冗余性 全局的且唯一的 非线性推广 三. 非线性支持向量回归 f(x) x +? -? 0 ? ? f(x) ?(x) +? -? 0 输入空间 特征空间 回归公式 线性的: 非线性的: 一般的: 多项式型: 核函数的类型 线性型: 径向基函数型: 指数径向基函数型: 几点说明 SVM 基本上是一个两分类器,修改 QP 公式, 以允许多类别分类。 常用的方法: 以不同的方式智能地将数据集分为两部分, 对每一种分割方式用 SVM训练,多类别分类的结果, 由所有的SVM分类器的输出经组合后得到 (多数规则) 。 “一对一”策略　这种方法对N 类训练数据两两组合,构建C2N = N (N - 1) /2个支持向量机。最后分类的时候采取“投票”的方式决定分类结果。 “一对其余”策略　这种方法对N分类问题构建N个支持向量机,每个支持向量机负责区分本类数据和非本类数据。最后结果由输出离分界面距离w·x + b最大的那个支持向量机决定。 软件 关于 SVM 的实现可以在下列网址找到/software.html SVMLight 是最早的 SVM 软件之一 SVM 的各种 Matlab toolbox 也是可利用的 LIBSVM 可以进行多类别分类 CSVM 用于SVM分类 rSVM 用于SVM回归 mySVM 用于SVM分类与回归 M-SVM 用于SVM多类别分类 §6 支持向量聚类 一. 发展简介 Vapnik (1995): 支持向量机 Tax Duin (1999): 利用SV 表示高维分布的特征 Scholkopf et al. (2001):利用SV计算封闭数据点的轮廓线的集合 Ben-Hur et al. (2001):利用SV系统地搜索聚类解 二. 方法的基本思想 利用高斯核函数将数据点映射到高维特征空间 在特征空间内寻找封闭数据点的像点的最小球面 将球面映射回数据空间，构成封闭数据点的轮廓线的集合 被每条轮廓线所封闭的点即属于与同一个聚类 减小高斯核函数的宽度，增加轮廓线的数目 用一个大的软间隙值处理重迭的聚类 映射到高维特征空间 三. 主要步骤 ⒈球分析 ⒉聚类分析 设 为一具有N个点的数据集 用一个非线性变换Φ映射到高维特征空间 寻求由 限制的中心为a且半径为R的最小闭球 ⒈球分析 引入 Lagrangian函数: 引入松弛变量ξj＞0 给出: βj ＞0 与 μj＞0 为Lagrange 乘子, C 为常数， C∑ξj 为惩罚项 利用KKT (Karush-Kuhn-Tucker) 完备性条件给出: 球 由球心到像点的距离: 当 R = D(xj)时，则 xj 为支持向量 在数据空间中封闭点的轮廓线为集合 {x | D(x) = R} 支持向量 满足ξi=0 的点xi 的像点位于特征空间之外或在边界上 如果 0 βi C, 它的像点位于特征空间球的曲面上 这些都是支持向量 有界支持向量 满足ξi＞0 及βi ＞0的点xi 的像点位于特征空间之外，这样的点有μi=0，因此βi = C 这些是有界支持向量 (BSVs) 当 C ＞ 1时，不存在有界支持向量 支持向量小结 SVs位于聚类边界上 BSVs位于聚类边界之外 所有其它的点位于聚类边界之内 数据空间 ⒉聚类分析 聚类分配 观察: 给定不同聚类中的一对数据点，任一连接它们的轨线必定走出特征空间中的球，即这条轨线包含使得D(y) R的点y的弧段。 所有点的邻接矩阵﹛ Aij ﹜ Aij = 1，如果对于弧段上所有的y ，D(y) ≤ R Aij = 0，如果对于弧段上至少1个y ，D(y) R 聚类分析:邻接矩阵 计算主要部分的伪代码 Get Adjacent Matrix (A) 初始化矩阵A ,各元素清零 for i ←2 to n for j ←1 to i - 1 　if j i t hen 　　if a( i , j) = 1 then i、j 两行合并为第i 行 　else 　　if a( i , j) = 0 then计算xi和x j 之间各样点x 与球心距离d ,一旦有样点满足d R