统计学习 Statistical Learning课件.pptVIP

. (广义)线性支持向量分类机算法 设已知训练集 ，其中 2. 选择适当的惩罚参数 ，构造并求解最优化问题 3. 计算 ，选择 的一个分量 ，并据此 计算出 4. 构造分划超平面 ,决策函数 求得 . 非线性分类 例子: . Non-linear Classification What can we do if the boundary is nonlinear ? Idea: transform the data vectors to a space where the separator is linear . Non-linear Classification The transformation many times is made to an infinite dimensional space, usually a function space. Example: x ? cos(uTx) . Non-linear SVMs Transform x ? ?(x) The linear algorithm depends only on xxi, hence transformed algorithm depends only on ?(x)?(xi) Use kernel function K(xi,xj) such that K(xi,xj)= ?(x)?(xi) . 设训练集 ，其中 假定可以用 平面上的二次曲线来分划： 现考虑把2维空间 映射到6维空间的变换 上式可将2维空间上二次曲线映射为6维空间上的一个超平面： 非线性分类 . 可见，只要利用变换，把 所在的2维空间的两类输入点映射到 所在的6维空间，然后在这个6维空间中，使用线性学习机求出分划超平面： 最后得出原空间中的二次曲线： 怎样求6维空间中的分划超平面？(线性支持向量分类机) 非线性分类 . 需要求解的最优化问题 其中 非线性分类 . 在求得最优化问题的解 后，得到分划超平面 其中 最后得到决策函数 或 线性分划－非线性分划代价：2维空间内积－6维空间内积 非线性分类 . 为此，引进函数 有 比较(2)和(3)，可以发现 这是一个重要的等式，提示6维空间中的内积 可以通过计算 中2维空间中的内积 得到。 非线性分类 . 实现非线性分类的思想 给定训练集后，决策函数仅依赖于 而不需要再考虑非线性变换 如果想用其它的非线性分划办法，则可以考虑选择其它形式 的函数 ，一旦选定了函数，就可以求解最优化问题 得 ，而决策函数 . 决策函数 其中 实现非线性分类的思想 . 设 是 中的一个子集。称定义在 上的函数 是核函数(正定核或核)，如果存在着从 到某一个 空间 的映射 使得 其中 表示 中的内积 核函数(核或正定核)定义 . 多项式内核 径向基函数内核RBF Sigmoind内核 目前研究最多的核函数主要有三类： 得到q 阶多项式分类器 每个基函数中心对应一个支持向量，它们及输出权值由算法自动确定 包含一个隐层的多层感知器，隐层节点数是由算法自动确定 核函数的选择 . 多项式内核 The kind of kernel represents the inner product of two vector(point) in a feature space of dimension. For example . － Edgar Osuna(Cambridge,MA)等人在IEEE NNSP’