模式识别06-非线性分类器.pdf

李金屏 济南大学 信息科学与工程学院 模式识别与智能系统研究所 山东省网络环境智能计算技术重点实验室 2011年11月  复习  二次判别函数  分段线性判别函数  位势函数分类法  总结和作业 (R) 济南大学信息科学与工程学院 模式识别与智能系统研究所 2011-12-22 2 目录  复习  二次判别函数  分段线性判别函数  位势函数分类法  总结和作业 (R) 济南大学信息科学与工程学院 模式识别与智能系统研究所 2011-12-22 3  几何分类器与概率模式识别的关系  线性分类器：关键在于如何获得权向量参数，即如 何训练获得良好的分类器或者判决准则？ ◦ 解方程：运筹学方法单纯形法 ◦ 感知器：梯度下降法 ◦ 支持向量机：只利用两类之间边缘的相关元素，即支持向 2 T 量： min J(W) = || W|| /2, s.t. y (W X +w )1 i i o (R) 济南大学信息科学与工程学院 模式识别与智能系统研究所 2011-12-22 4 复习  查阅支持向量机资料：文献  问题 ◦ 几何分类器与贝叶斯模式识别是什么关系？ ◦ 线性判决面的一般表达式是什么？线性决策函数的增广形 式是什么意思？什么是增广向量和增广权向量？ ◦ 求解线性判决面有哪些方法？举例说明。 ◦ 感知器算法的基本思想是什么？什么是梯度下降法？ ◦ 支持向量机的基本思想是什么？什么是支持向量？ (R) 济南大学信息科学与工程学院 模式识别与智能系统研究所 2011-12-22 5 目录  复习  二次判别函数  分段线性判别函数  位势函数分类法  总结和作业 (R) 济南大学信息科学与工程学院 模式识别与智能系统研究所 2011-12-22 6  对于某些问题来说，可以在N维空间中构造线性函 数来进行分类；而对于另一些问题，在N维空间中 是可分的，但不是线性可分的。  对于这后一类问题，就需要利用非线性判别函数进 行分类。  然而非线性判别函数的构造却是一个比较困难的问 题。我们将给出一些学习非线性判别函数的思路。 (R) 济南大学信息科学与工程学院 模式识别与智能系统研究所 2011-12-22 7  异或问题：可以用一个椭圆的二次判别函数来进 行分类，椭圆内部的是一类，椭圆外部的是一类。 (R) 济南大学信息科学与工程学院 模式识别与智能系统研究所 2011-12-22 8  二次判别函数是一种常用的非线性判别函数，与线 性判别函数相比，适用面要广。  在n维特征空间中，二次判别函数的一般表达式是