3-线性分类器.pptVIP

第三章 线性分类器 线性判别函数 最小距离准则 Fisher 准则 感知器函数准则 最小平方误差准则 问题的引入 利用贝叶斯分类器需要知道类别先验概率及类条件概率密度.在许多实际问题中,由于样本特征空间的类条件概率密度的形式常常很难确定,而用统计方法估计分布需要大量的样本,并且随着特征空间维数的增加所需的样本数急剧增加. 解决的思路 贝叶斯分类器 绕道而行 不用估计条件概率, 首先直接假设判别函数具有某种形式,然后利用样本集确定出判别函数中的未知参数. 如何估计这些未知参数，应针对不同的实际情况，提出不同的设计要求，使得所设计的分类器尽可能好地满足这些要求。当然，由于所提要求不同，结果也相各异，这说明上述“尽可能好”是相对于所提要求而言的。 设计贝叶斯分类器时，我们已经采用了准则函数，即错误率函数或风险函数。贝叶斯分类器的错误率或风险是最小的，所以通常称之为最优分类器，而在其它准则函数下得到的分类器则称为是“次优”的。 3.1线性判别函数 基本概念 几何意义 3. 线性分类器设计的主要步骤 4. 多类线性决策问题 5. 广义线性判别函数 1.基本概念 设模式x是d维的，x = (x1, x2,…, xd)T, 类别数 m = 2 设线性判别函数的一般形式为 2.几何意义 3.线性分类器设计的主要步骤 所谓设计线性分类器,就是利用训练样本集建立线性判别函数,即要估计其中的未知参数w和 wo, 实际上就是寻找最好参数的过程.最好的参数往往是准则函数的极值点.这样,设计线性分类器的问题就转化为利用训练样本集寻找准则函数的极值点w和 wo的问题. 主要步骤 ① 获取训练样本集,即一组具有类别标志的样本集. X = { x 1 , x 2 , … , x n } X可看作确定性样本集,也可看作随机样本集 流程图 4.多类决策问题 假设已知一组容量为n的样本集，如果有一个线性分类器能把每个样本正确分类，则称这组样本集为线性可分的；否则称为线性不可分的。反过来，如果样本集是线性可分的，则必然存在一个线性分类器能把每个样本正确分类 5.广义线性判别函数 设有一维样本空间S，我们希望的决策为 线性判别函数的齐次简化 小结: 线性判别函数 基本概念 几何意义 线性分类器设计的主要步骤 多类线性决策问题 广义线性判别函数 3.2 最小距离准则 最小欧氏距离准则 最小马氏距离准则 1.最小欧氏距离准则 d 维空间中两个向量之间的欧氏距离 最小欧氏距离分类器构造简便，使用方便, 但是分类效果常常不理想。分类效果不好的原因在于判别函数的权向量及阈值仅仅利用了各类样本的均值信息，而没有充分利用样本的其它信息。 2.最小马氏距离准则 3.3 Fisher 准则 1. Fisher判别法要解决的问题 2. 必要的基本参量 3. Fisher准则函数 1. Fisher判别法要解决的问题 应用统计方法解决模式识别问题时，在低维空间里行得通的方法，在高维情况里往往行不通。因此，降低维数有时就成为处理实际问题的关键。 2. 必要的基本参量 3. Fisher准则函数 我们希望投影后，在一维Y空间里各类样本尽可能分得开些，即希望两类均值差越大越好；同时希望各类样本内部尽量密集，即希望类内离散度越小越好。故，定义Fisher准则函数为： 求使JF(w)取极大值时的w* 3.4 感知器准则 1. 几个基本概念 2. 感知器准则函数 3. 梯度下降算法 1. 几个基本概念 (1)线性可分性及其概率 如果样本集y1,y2,…,yN是线性可分的，则必存在某个或某些权向量w，使得： 在线性可分情况下，满足wTyn0 ，n=1,2,…,N的权向量w称为解向量。 对解区加以限制的目的在于使解向量w更可靠。通常认为，越靠近解区中心的解向量，似乎越能对新的样本正确分类。因此，引入余量b0，并寻找满足wTyi≥b的解向量。显然，由wTyi≥b0所产生的正半空间的交迭区(即新解区)位于原解区之中， 2.感知器准则函数 3.梯度下降算法 下图以两维为例，对w(1)=0,ρk =1的情况，说明算法是如何在有限步内找到一个解向量w*。 3.5 最小平方误差准则 1. 最小平方误差准则函数 2. MSE准则函数的算法 1. 最小平方误差准则函数 MSE解的性质 2. MSE准则函数的算法 作业3 由于感知器准则及其梯度下降算法只适用于线性可分 情况，对于线性不可分情况，迭代过程永远不会终结， 即算法不收敛，实际问题事先无法确定是否线性可分。 希望得到一种对两种情况都可用的线性判别算法： 对线性可分问题，可得到一个如感知器准则函数 那样的解向量； 对线性不可分问题，能够得到一个使某种度量误差 （