模式识别第4章.pptVIP

第四章 线性判别函数 2010.11 第四章 线性判别函数 4.1引言 4.2 Fisher线性判别 4.3 感知准则函数 4.4 最小错分样本数准则 4.5 最小平方误差准则函数 4.6 随机最小错误率线性判别准则函数 4.7 多类问题 引言 设计贝叶斯分类器的方法：即已知先验概率P(?i)和类条件概率密度p(x/?i)的情况下，按一定的决策规则确定判别函数和决策面。 类条件概率密度的形式常常难以确定，利用非参数估计分布需要大量样本，且所需样本数随维数升高急剧增加。 线性判别函数法 Fisher线性判别 出发点 应用统计方法解决模式识别问题时，一再碰到的问题之一就是维数问题。 在低维空间里解析上或计算上行得通的方法，在高维空间里往往行不通。 因此，降低维数有时就会成为处理实际问题的关键。 Fisher线性判别 问题描述 考虑把d维空间的样本投影到一条直线上，形成一维空间，即把维数压缩到一维。 然而，即使样本在d维空间里形成若干紧凑的互相分得开的集群，当把它们投影到一条直线上时，也可能会是几类样本混在一起而变得无法识别。 但是，在一般情况下，总可以找到某个方向，使在这个方向的直线上，样本的投影能分得开。 Fisher线性判别 问题描述 问题：如何根据实际情况找到一条最好的、最易于分类的投影线，这就是Fisher判别方法所要解决的基本问题。 Fisher线性判别 从d维空间到一维空间的一般数学变换方法 假设有一集合Г包含N个d维样本x1, x2, …, xN，其中N1个属于ω1类的样本记为子集Г1， N2个属于ω2类的样本记为子集Г2 。若对xn的分量做线性组合可得标量： yn = wTxn, n=1,2,…,N 这样便得到N个一维样本yn组成的集合，并可分为两个子集Г1’和Г2’ 。 Fisher线性判别 从d维空间到一维空间的一般数学变换方法 实际上，w的值是无关紧要的，它仅是yn乘上一个比例因子，重要的是选择w的方向。w的方向不同，将使样本投影后的可分离程度不同，从而直接影响的分类效果。 因此，上述寻找最佳投影方向的问题，在数学上就是寻找最好的变换向量w*的问题。 Fisher线性判别 基于最佳变换向量w*的投影 w*是使Fisher准则函数JF(w)取极大值时的解，也就是d维X空间到一维Y空间的最佳投影方向。有了w*，就可以把d维样本x投影到一维，这实际上是多维空间到一维空间的一种映射，这个一维空间的方向w*相对于Fisher准则函数JF(w)是最好的。 利用Fisher准则，就可以将d维分类问题转化为一维分类问题，然后，只要确定一个阈值T，将投影点yn与T相比较，即可进行分类判别。 感知器算法 出发点 一旦判别函数的形式确定下来，不管它是线性的还是非线性的，剩下的问题就是如何确定它的系数。 在模式识别中，系数确定的一个主要方法就是通过对已知样本的训练和学习来得到。 感知器算法就是通过训练样本模式的迭代和学习，产生线性（或广义线性）可分的模式判别函数。 感知器算法 基本思想 采用感知器算法(Perception Approach)能通过对训练模式样本集的“学习”得到判别函数的系数 说明 这里采用的算法不需要对各类别中模式的统计性质做任何假设，因此称为确定性的方法。 感知器算法 感知器的训练算法 感知器算法实质上是一种赏罚过程 对正确分类的模式则“赏”，实际上是“不罚”，即权向量不变。 对错误分类的模式则“罚”，使w(k)加上一个正比于Xk的分量。 当用全部模式样本训练过一轮以后，只要有一个模式是判别错误的，则需要进行下一轮迭代，即用全部模式样本再训练一次。 如此不断反复直到全部模式样本进行训练都能得到正确的分类结果为止。 感知器算法 感知器算法的收敛性 只要模式类别是线性可分的，就可以在有限的迭代步数里求出权向量。 采用感知器算法的多类模式的分类 采用多类情况3，将感知器算法推广到多类模式。 感知器算法判别函数的推导 采用感知器算法的多类模式的分类 讨论 这里的分类算法都是通过模式样本来确定判别函数的系数，但一个分类器的判断性能最终要受并未用于训练的那些未知样本来检验。 要使一个分类器设计完善，必须采用有代表性的训练数据，它能够合理反映模式数据的整体。 采用感知器算法的多类模式的分类 讨论 要获得一个判别性能好的线性分类器，究竟需要多少训练样本？ 直观上是越多越好，但实际上能收集到的样本数目会受到客观条件的限制； 过多的训练样本在训练阶段会使计算机需要较长的运算时间； 一般来说，合适的样本数目可如下估计： 若k是模式的维数，令C=2(k+1)，则通常选用的训练样本数目约为C的10~20倍。 梯度算法 讨论 若正确地选择了准则函数J(w,x)，则当权向量w是一个解时，J达到极小值（J的梯度为零）。由