模式识别第讲线性判别函数.pptVIP

返回本章首页第50页，共76页，星期日，2025年，2月5日这里是一个维方阵，且常为非奇异；方阵称为的伪逆（矩阵论里称其为广义逆），且具有以下性质：①当为非奇异方阵时，的伪逆和它的逆相等②③一般来说返回本章首页第51页，共76页，星期日，2025年，2月5日从上述推倒过程可以看出，MSE解依赖于向量，的不同选择可以给予解以不同的性质（参考教材P102）。返回本章首页第52页，共76页，星期日，2025年，2月5日从前面的推导过程我们可以看到，用MSE方法按式的计算工作量很大，首先要求证明是非奇异的，然后计算，为维矩阵的逆。这样，我们引入梯度下降算法以避免这种问题。误差平方和准则函数的梯度返回本章首页2.3.2MSE准则函数的梯度下降算法第53页，共76页，星期日，2025年，2月5日梯度下降算法为：（1）首先任意指定初始权向量；（2）如第k步不能满足要求则按下式求第(k+1)步的权向量对于任意的正常数，算法得到的权向量序列收敛于使返回本章首页第54页，共76页，星期日，2025年，2月5日广义线性判别函数从图可以看出：在阴影上面是ω1类，在阴影下面是ω2类，结论：在X空间的非线性判别函数通过变换到Y空间成为线性的，但X变为高维空间.ω2ω1ω2第18页，共76页，星期日，2025年，2月5日设计线性分类器的主要步骤一组具有类别标志的样本集X={x1,x2,…,xn}或增广样本集Y。确定一个准则函数J，满足:a.是样本集w,w0,或a的函数；b.J的值反映分类器的性能,极值解对应最好策略。用最优化技术求出准则函数的极值w*,w0*,或a*。这样就可以得到线性判别函数第19页，共76页，星期日，2025年，2月5日2.Fisher线性判别函数在以后的统计模式识别方法中，维数或特征数是一个很大的问题，因此，降低维数有时就成为处理实际问题的关键。Fisher线性判别函数法就是其中一种，是R.A.Fisher（1936）在他的一篇论文中提出来的，其基本思想是把d维模式投影到一条通过原点的直线上，把维数压缩到1。参照如图所示的例子，进行分析。第20页，共76页，星期日，2025年，2月5日第21页，共76页，星期日，2025年，2月5日基于这个例子可以看到，投影线的方向起着至关重要的作用。下面着重讨论如何从数学上寻求最优的投影线方向。首先讨论从d维空间到1维空间的数学变换，从几何上看，就是相对应的到方向为的直线上的投影。寻找最好的投影方向即是寻找最好的变换向量的问题。第22页，共76页，星期日，2025年，2月5日第23页，共76页，星期日，2025年，2月5日第24页，共76页，星期日，2025年，2月5日这里建立一个准则函数，它能反映不同类别模式在直线上投影分离程度的好坏。综合上述考虑，希望两类模式特征向量投影均值之差越大越好；同时希望同类模式特征向量的投影内部尽量密集。定义Fisher准则函数寻找使分子尽可能大，而分母尽可能小，也就是使尽可能大的作为投影方向。第25页，共76页，星期日，2025年，2月5日将变为的显函数第26页，共76页，星期日，2025年，2月5日称为Rayleigh比,其具有以下性质：①，a是一个实数；②的极值与的大小无关，只与的方向有关。下面求准则函数的极大值。将标量对向量求导并令其为零向量，注意到的分子分母均为标量，利用二次型关于向量求导的公式可得：第27页，共76页，星期日，2025年，2月5日上式表明：是矩阵相应于特征值的特征向量（本特值）。第28页，共76页，星期日，2025年，2月5日由于我