支持向量机简介和回归.ppt

例 Iris 数据 数据集考虑150 个实例，每个实例由iris 花的4个测量数据组成。 存在3种类型的花，每一种由50个实例描述。 变动 ‘p’ 与 ‘q’ 从q 的初始值开始，在这一尺度所有的点对生成所得到的单一聚类中可估计的核值。在这个值没有外点是需要的，于是选取 C = 1. 如果 q 是增加的，则单个或一些点的聚类破坏或者聚类边界变的很粗糙。为了研究BSV什么时候允许出现，则让p增加。 较低个数的 SV 保证光滑的边界。 当 q增加时， SV的个数也增加。如果SV的个数太多，则让 p 增加，其中许多 SV可能转入BSV，并且光滑的聚类﹙或核﹚边界就显现出来，如图3b 。 沿着一个方向系统地增加 q 与 p 就能保证最小个数的SV。 关于 Iris 的结果 问题 计算复杂度 ( O(n2m)) 最优 q 值对于每个数据库是不同的，并且很难调好。 聚类分析中: 计算邻接矩阵 分配标记到BSV 也存在某些问题。 谢谢大家! * Perceptron learning rule can be used to find any decision boundary between class 1 and class 2 * * * * * * Let x(1) and x(-1) be two S.V. Then b = -1/2( w^T x(1) + w^T x(-1) ) * * * * So, if change internal points, no effect on the decision boundary * * XOR: x_1, x_2, and we want to transform to x_1^2, x_2^2, x_1 x_2 It can also be viewed as feature extraction from the feature vector x, but now we extract more feature than the number of features in x. * * Despite violating Mercer condition, the sigmoid kernel function can still work * * H = 4 9 -25 -36 49 9 25 -81 -121 169 -25 -81 289 441 -625 -36 -121 441 676 -961 49 169 -625 -961 1369 * * The optimization toolbox of matlab contains a quadratic programming solver * * * * * * * * * * * * * * * * * 描述函数的值 1 2 4 5 6 第2类 第1类 第1类 §5 支持向量回归一.最小二乘法 x f(x) ?i 求 解: 二. 线性支持向量回归 (SVR) 约束: +? -? 0 求解: x f(x) 线性支持向量回归 (SVR) 最小化: x f(x) +? -? 0 ? ?* 约束: Lagrange 最优化 目标函数 约束条件 回归公式 回归公式: 性质: 冗余性 全局的且唯一的 非线性推广 三. 非线性支持向量回归 f(x) x +? -? 0 ? ? f(x) ?(x) +? -? 0 输入空间 特征空间 回归公式 线性的: 非线性的: 一般的: 多项式型: 核函数的类型 线性型: 径向基函数型: 指数径向基函数型: 几点说明 SVM 基本上是一个两分类器,修改 QP 公式, 以允许多类别分类。 常用的方法: 以不同的方式智能地将数据集分为两部分, 对每一种分割方式用 SVM训练,多类别分类的结果, 由所有的SVM分类器的输出经组合后得到 (多数规则) 。 “一对一”策略　这种方法对N 类训练数据两两组合,构建C2N = N (N - 1) /2个支持向量机。最后分类的时候采取“投票”的方式决定分类结果。 “一对其余”策略　这种方法