线性判别函数讲义.ppt

小结 广义线性判别函数 两类线性可分情况 两类问题的规范化 解向量 权空间 解区域 小结 梯度下降法 牛顿下降法 感知器准则函数 感知器准则函数最小化 批处理感知器算法 单样本校正 固定增量单样本感知器算法 带边沿裕量的变增量感知器算法 小结 线性不可分情况 最小平方误差准则 Widrow-Hoff算法 支持向量机 分类间隔（margin） 支持向量（support vector） 非线性映射与核函数（kernel function） 小结 推广到多类问题 Kesler构造法 将多类情况转换为两类情况 * Thank you! * * 板书推导R1:x-1或x0.5 * 变换空间y中的判决面总是一个超平面，因为广义线性 * 在a(k)处的泰勒展开 * * * * * 感知器准则函数最小化 单样本校正 在批处理感知器算法中，每次校正需要考察所有样本 单样本校正每次仅考察一个错分样本 顺序考虑输入样本，一旦发现某个样本错分，立即对当前权向量进行修正 为了保证每个样本都可以在序列中无限次出现，可以使训练样本按顺序不断循环出现在序列中，直至算法收敛 感知器准则函数最小化 固定增量单样本校正 假设 样本序列编号 下标表示样本编号 上标表示分错的样本编号即 迭代公式 感知器准则函数最小化 固定增量单样本感知器算法 感知器准则函数最小化 感知器准则函数最小化 感知器准则函数最小化 感知器准则函数最小化 感知器准则函数最小化 带边沿裕量的变增量感知器算法 线性不可分情况 感知器算法本质上是“误差校正方法”（error-correcting procedure） 如果问题本身线性不可分，则校正过程可能永远无法结束 最小平方误差 包含所有样本的准则函数（不仅仅是错分样本） 不再追求 ，转而令 ，其中 为任意取定的正常数 将线性不等式组求解转换成线性方程组求解 最小平方误差 样本个数为n，维数为d Y为 矩阵（ ），其第i行为 b为列向量 则线性方程组可写为 如果Y是非奇异的，则解为 通常情况下， ，即Y的行数大于列数，线性方程组超定（overdetermined），a通常无精确解 最小平方误差 定义误差向量 在a无解的情况下，求使得误差向量长度的平方最小的a，作为线性方程组的近似解 最小平方误差（最小误差平方和）准则函数 Widrow-Hoff算法 采用梯度下降法来求 的极小值递归公式 Widrow-Hoff算法 考虑单样本情况：Widrow-Hoff算法或最小均方（LMS）算法算法描述 Widrow-Hoff算法 Widrow-Hoff算法将训练点到超平面的距离平方和最小化 即使在线性可分情况下， Widrow-Hoff算法的解也可能不能将所有训练样本完全正确分类 但是， Widrow-Hoff算法在线性可分和不可分情况下，都能得到不错的近似解 支持向量机 支持向量机（Support Vector Machine, SVM）依赖于对数据的一种特殊预处理，从而实现对线性不可分数据的较好分类 该预处理通过一个非线性映射 将原数据映射到一个更高维的空间 ，使得在此高维空间中的映射点 线性可分 尽管SVM自上世纪90年代开始成为一个非常热门的领域，其基本思想却早在1963年就由V.N. Vapnik提出来了。 [1] Vladimir N. Vapnik, “Statistical Learning Theory”, Wiley-Interscience, 1998 [2] Vladimir N. Vapnik, “The Nature of Statistical Learning Theory”, Springer , 1995 支持向量机 哪个线性判决面最好？ 支持向量机 间隔（margin） 模式到判决面的最小距离称为分类间隔（margin） 一般认为，分类间隔越大的判决面越好 离判决面最近的样本点称为支持向量（support vector） 支持向量 支持向量 支持向量 支持向量机 高维空间中权向量a和映射点y都是增广的，则判别函数为 类别标记 表示 属于 表示 属于 设边沿裕量为1，则有 支持向量机 样本点到判决面的距离 优化目标 最大化 ，即最小化 约束条件 分类间隔 支持向量机 SVM的训练 Kuhn-Tucker构造法 二次规划问题 最大化 最小化 共轭梯度法 内点法 active