模式识别第八讲-第五章 线性判别函数.ppt

第五章 线性分类器 5.1 引言 5.2 感知器（Perceptron）算法 5.3 Fisher 线性判别 5.4 支撑向量机简介 线性判别的基本思想是将（超）平面作为两类的分界面。根据待识别样本位于（超）平面的哪一边，来决定分到哪一类。 需要由给定的训练样本，求出该分界面。 5.1 引言 5.1 引言 线性判别函数的定义 则决策规则变为： 如果g(X)0, 则决策?1，即把X归到?1类去； 如果g(X)0, 则决策?2，即把X归到?2类去； 5.1 引言 2. 线性分类器的设计过程 5.1 引言 5.1 引言 线性判别函数的性质 5.1 引言 5.1 引言 5.1 引言 5.1 引言 5.1 引言 5.1 引言 5.1 引言 5.1 引言 第五章 线性分类器 5.1 引言 5.2 感知器（Perceptron）算法 5.3 Fisher 线性判别 5.4 支撑向量机简介 5.2 感知器算法 5.2 感知器算法 5.2 感知器算法 5.2 感知器算法 5.2 感知器算法 5.2 感知器算法 5.2 感知器算法 5.2 感知器算法 5.2 感知器算法 5.2 感知器算法 5.2 感知器算法 5.2 感知器算法 5.2 感知器算法 多类情况下的线性分类器 按二类问题求解 第一种方法分类示意图 第二种方法： 每次用线性分类器将指定的二个类别分开。 一共有 个二类线性分类问题。 第二种方法分类示意图 按多类问题求解 3类3个决策面的例子 5类8个决策面的例子 多类线性分类器的决策域特点 所有决策域是凸的 多类问题的增广解权向量 多类问题的固定增量算法 固定增量算法的收敛性 最小错分样本数准则 5.3 Fisher线性判别 Fisher最优投影方向举例 Fisher最优性条件 各类样本投影均值间的距离尽可能大 Fisher最优投影方向的数学描述 投影均值间的距离 类内离散度 Fisher准则函数： Fisher准则函数的Rayleigh商表示 用Lagrange乘子法求极值 Fisher线性判别总结 Fisher线性判别总结 例：Fisher线性判别的求解过程 5.4 支撑向量机（support vector machine, SVM）简介 3. 对待识别样本X，计算它在直线W上的投影点： 求出第i类d维样本的均值： 和总类内离散度矩阵： 2. 求出由d 维X 空间投影到一维y 空间的最好投影方向： 5. 依据以下决策规则进行判别： 4. 确定分界阈值点 y0 ： 或： 推广能力（generalization, 泛化能力）的概念。 感知器算法得到的分界面推广能力不强。 为了增强推广能力，SVM找一个离两类样本点的距离都尽可能大的超平面，来作为分界面。 作为两类分界面的超平面只由训练样本集中相对一小部分样本决定，这部分样本就称为支撑向量。 对非线性分类问题，先转换为高维空间中的线性问题（通过核方法），然后再用上述方法求解。 核方法有效地避免了升维带来的维数灾难。 SVM方法目前得到了广泛的应用。 也可采用“单样本修正”：顺序对各个样本进行分类，发现一个分错就马上修正权向量。 单样本修正算法与前面描述的感知器算法的基本思想是一致的。 单样本修正算法为： 当 为固定值时，称为固定增量法。 随k变化时，称为可变增量法。 当 例1． 对于二类问题，可以用感知器等算法求出线性分界面。 对于多类问题，可以把它们转化为二类问题来求解，也可以直接按多类问题来求解。 设有c类模式，利用二类情况下的线性判别函数设计分类器，有两种处理方法。 一是把c类问题化为(c?1)个二类分类问题，其中第i个二类问题就是用线性判别函数把属于?i类的模式同不属于?i类的模式分开； R1 R2 R3 假如有三类样本集1、2和3，它分别在区域R1、R2和R3。采用第一种方法分类，问题化为c?1=2个两类分类问题：每次用线性分类器将一个类别的样本与所有不属于这个类别的样本分开；不属于前2个类别的样本都归为第3类。 缺点：会产生拒绝分类的情况，即无法确定阴影区域中的点的类别（到底是属于第1类还是第2类？）。 R1 R3 R2 采用第二种方法分类时，问题化为3个两类分类问题：每次求出两个类别的线性分界面。 缺点：同样会产生拒绝分类的情况，即无法确定阴影区域中的点的类别（3个类别的票数相同）。 对于一个待分样本，依次用这些线性分界面来进行判别，并统计判别为每一个类