每次修正权向量a时.ppt

支持向量机 间隔（margin） 模式到判决面的最小距离称为分类间隔（margin） 一般认为，分类间隔越大的判决面越好 离判决面最近的样本点称为支持向量（support vector） 支持向量 支持向量 支持向量 支持向量机 高维空间中权向量a和映射点y都是增广的，则判别函数为 类别标记 表示 属于 表示 属于 设边沿裕量为1，则有 支持向量机 样本点到判决面的距离 优化目标 最大化 ，即最小化 约束条件 分类间隔 支持向量机 SVM的训练 Kuhn-Tucker构造法 二次规划问题 最大化 最小化 共轭梯度法 内点法 active set …… s.t. 支持向量机 非线性映射 基本思想：当原训练样本线性不可分时，可利用某个非线性变换，将原数据空间中的样本点映射到更高维空间中，使得在此高维空间中的映射点线性可分 支持向量机 非线性映射 支持向量机 非线性映射 非线性映射 反映了设计者的先验知识 在缺乏先验知识的前提下，常用的非线性映射函数有：多项式函数、高斯函数等 支持向量机 核技巧（kernel trick） 线性分类器仅仅依赖于内积计算 如果所有样本点都映射到高维（甚至可能为无限维）空间中 ，在此高维空间中的内积计算 往往很难计算或根本无法计算 核函数指原数据空间中对应于变换后空间中内积计算的某种函数 这表明：较复杂的高维空间中的内积计算可以通过低维空间中的核函数间接进行 如果一个问题仅包含内积计算，则可以不指定具体的映射函数，而仅需知道该映射函数对应的核函数 支持向量机 核技巧（kernel trick） 什么样的函数可以作为核函数？ Mercer定理任何半正定对称函数都可以作为核函数 半正定由 组成的矩阵A为半正定矩阵，即对任意非零实数向量z，有 对称 支持向量机 核技巧（kernel trick） 常用的核函数 多项式核 高斯核 反曲函数 推广到多类问题 前述算法多假设两类前提 推广到多类 如果 线性可分，则存在一个权向量集 ，当 时，对所有 ，有 确定后，对测试样本y，如果对所有 ，有则判断y属于第i类 推广到多类问题 Kesler构造法 假设 ，则 等价的， 维权向量能将c-1个 维样本集（如下页所示）正确分类 推广到多类问题 Kesler构造法 每个 对应于将属于 和 的样本规范化，即属于 的样本取负，这样可以保证 ，多类问题成功转化为两类问题 推广到多类问题 Kesler构造法 当 时，可类似构造c-1个 维训练样本 ，其中第i个子向量为y，第j个子向量为-y，其余都为0 如果对于所有 ，都有 ，则 中的分量构成能将多类样本集正确分类的线性机的c个权向量 小结 判别函数 基于判别函数的判决规则 线性判别函数 二次判别函数 多项式判别函数 如果 ，则模式为 小结 广义线性判别函数 两类线性可分情况 两类问题的规范化 解向量 权空间 解区域 小结 梯度下降法 牛顿下降法 感知器准则函数 感知器准则函数最小化 批处理感知器算法 单样本校正 固定增量单样本感知器算法 带边沿裕量的变增量感知器算法 小结 线性不可分情况 最小平方误差准则 Widrow-Hoff算法 支持向量机 分类间隔（margin） 支持向量（support vector） 非线性映射与核函数（kernel function） 小结 推广到多类问题 Kesler构造法 将多类情况转换为两类情况 * * 板书推导R1:x-1或x0.5 * 变换空间y中的判决面总是一个超平面，因为广义线性 * 在a(k)处的泰勒展开 * * * * 权空间与解区域 所有可能的权向量构成“权空间”（weight space）。 解向量为权空间中的一点 对每个 ， 确定一个权空间中穿过原点的超平面， 为其法向量 解向量必然在每个训练样本确定的超平面的正侧，即解向量必然在n个样本确定的n个正半空间的交叠区中，该交叠区称为“解区域”（solution region），其中任意