Ch 0 线性判别函数.PPT

支持向量机 间隔（margin） 模式到判决面的最小距离称为分类间隔（margin） 一般认为，分类间隔越大的判决面越好 离判决面最近的样本点称为支持向量（support vector） 支持向量 支持向量 支持向量 支持向量机 高维空间中权向量a和映射点y都是增广的，则判别函数为 类别标记 表示 属于 表示 属于 设边沿裕量为1，则有 支持向量机 样本点到判决面的距离 优化目标 最大化 ，即最小化 约束条件 分类间隔 支持向量机 SVM的训练 Kuhn-Tucker构造法 二次规划问题 最大化 最小化 共轭梯度法 内点法 active set …… s.t. 支持向量机 非线性映射 基本思想：当原训练样本线性不可分时，可利用某个非线性变换，将原数据空间中的样本点映射到更高维空间中，使得在此高维空间中的映射点线性可分 支持向量机 非线性映射 支持向量机 非线性映射 非线性映射 反映了设计者的先验知识 在缺乏先验知识的前提下，常用的非线性映射函数有：多项式函数、高斯函数等 支持向量机 核技巧（kernel trick） 线性分类器仅仅依赖于内积计算 如果所有样本点都映射到高维（甚至可能为无限维）空间中 ，在此高维空间中的内积计算