a5模式识别与智能计算第五章+判别函数分类器设计.pptxVIP

模式识别与智能计算;第五章判别函数分类器设计;1.1判别函数的基本概念;模式识别系统;由所有特征量的线性组合构成的。

;线性判别函数;线性判别函数;（1）每一个类别可用单个判别平面分割，M类有M个判别函数，存在不满足条件的不确定区域

;（2）每两个类别之间可用判别平面分开，有M(M-1)/2个判别函数，存在不满足条件的不确定区域;（3）存在M个判别函数i=1，2，...，M，除了边界以外，没有不确定区域。

;线性分类器设计任务是在给定样品集和集合内各样品所属类别条件下，确定线性判别函数的各项系数，对待测样品进行分类时，能满足相应的准则函数J为最优的要求。这种方法的具体过程可大致分为：

（1）确定使用的判别函数类型或决策面方程类型，如线性分类器，分段线性分类器，非线性分类器等或近邻法等；

（2）按需要确定一准则函数J：如Fisher准则、感知器算法、增量校正算法、LMSE算法。

（3）确定准则函数J达到极值时W*以及W*0的具体数值，从而确定判别函数，完成分类器设计。

;判别函数分类器的训练过程就是确定该函数的权集的过程。对于两类问题，设有判别函数。;感知器算法;感知器算法;梯度下降法;梯度下降法;梯度下降法;梯度下降法;“奖惩”算法;“奖惩”算法;“奖惩”算法;设共有三类，每类仅含一个样品，即;因X(1)∈ω1,而d[X(1)]不是最大值，故需要修正权矢量，即;③输入X(3),X(3)∈ω3，则

;④输入X(4),X(4)∈ω1，则

;实例说明;⑦输入X(7),X(7)∈ω1，则

;实现步骤;;5.5Fisher分类;?;?;?;?;;;效果图：

应用Fisher算法识别效果图。;理论基础：

一般常见的降维方法是建立在正态分布这一假设基础上的线性方法，显得过于简化，因而往往不能满足现实中的需要。这里将传统的线性降维方法通过引入核函数推广到非线性领域中。

基于核方法的特征提取理论本质上都是基于样本的。核方法首先采用非线性映射将原始数据由数据空间映射到特征空间，进而在特征空间进行对应的线性操作。从本质上讲，核方法实现了数据空间、特征空间和类别空间之间的非线性变换。

;?;?;?;?;?;?;;;效果图：

采用基于核的Fisher算法自动分类识别效果图。;5.7支持向量???;?;?;确定一个超平面，将两类样本集分开，并具有最大间隔(最大化函数式最大)，这样的超平面为最大间隔超平面，也称最优分类超平面。;?;?;?;将求得的解带回拉格朗日函数得到

因为上式只涉及到向量的a求解，因此我们把L(W,a,b)改成H(a)。

对了构造最优化超平面，在且满足拉格朗日求解得到的关系条件下，对maxH(a)求解得到，代入得到向量

在求解此优化问题中，Karush-Kuhn-Tucker互补条件提供了关于解结构的有用信息。根据KKT条件，最优解必须满足：;?;?;相应的判别函数变为

这就是支持向量机（SVM）

支持向量机利用输入空间的核函数取代了高维特征空间中的内积运算，解决了算法可能导致的“维数灾难”问题：在构造判别函数时，不是对输入空间的样本作非线性变换，然后在特征空间中求解；而是先在输入空间比较向量（例如求内积或是某种距离），对结果再作非线性变换。这样，大的工作量将在输入空间而不是在高维特征空间中完成。;支持向量机判别函数形式上类似于一个神经网络，输出是M个中间节点的线性组合，每个中间节点对应一个支持向量，如图所示。;?;?;?;支持向量机分类的代码：

如下图所示，sample是一个待测数字样本。;效果图：

首先对样品库进行支持向量机训练，弹出选择核函数选择对话框，如图(a)所示。选择合适的核函数，开始训练，等待至训练结束（b）。手写一数字，如图(c)点击“支持向量机分类”菜单，进行分类，显示分类结果对话框，如图(d)所示。