模式识别线性判别函数.pptVIP

5.2Fisher线性判别第30页，共82页，星期日，2025年，2月5日5.2Fisher线性判别要找一个最好的投影方向b，使下面的准则函数达到最大值。第31页，共82页，星期日，2025年，2月5日5.2Fisher线性判别其中：而投影后的投影前的第32页，共82页，星期日，2025年，2月5日5.2Fisher线性判别由求JF的极值问题，最后得到和贝叶斯最小错误率决策的b只差一个常数，方向相同。投影到一维后的两类分界点，可以用一维分类时的一些办法作。当k1=k2=k时，第33页，共82页，星期日，2025年，2月5日第五章线性判别函数

（分类器，参数分类器）5.1引言5.2Fisher线性判别5.3感知准则函数（Perceptron）5.4最小平方误差准则函数5.5多层感知的学习算法—误差反向传播算法第34页，共82页，星期日，2025年，2月5日5.3感知准则函数（Perceptron）一．几个基本概念1．线性可分性对一组样本y1,…,yN（增广表示），假定来自两类，若存在一个权向量a，使得当时，有时，有则称这组样本是线性可分的。第35页，共82页，星期日，2025年，2月5日5.3感知准则函数（Perceptron）若样本是线性可分的，则总存在权向量a能把每个样本正确分类。即使得2．样本的规范化，对，对对第二类的样本，若在yj前加一负号yj’=-yj，则aTyi’0。第36页，共82页，星期日，2025年，2月5日5.3感知准则函数（Perceptron）即若令，当，当这时问题就化为找一个a，使对所有的yn，有aTyn0。上述的处理称为规范化。称为规范化的增广样本。以后为书写方便，仍用y来表示规范化的增广样本。（可根据上下文定）第37页，共82页，星期日，2025年，2月5日5.3感知准则函数（Perceptron）3．解向量和解区在线性可分的情况下，满足aTyi0，i=1,2,…,N的a称为权向量，记为a*。方程aTyi=0中的a和yi的作用是对偶的。一个权向量a是权空间中的一个点。每个样本yi对a的可能位置都起到限制作用。即要满足aTyi0。对所有样本满足aTyi0的a即为一个解。第38页，共82页，星期日，2025年，2月5日5.3感知准则函数（Perceptron）方程aTyi=0确定了权空间中过原点的一个超平面Hi，它的法向量是yi。解应在Hi的正侧（因为要求aTyi0）正半空间。N个样本确定了权空间中的N个平面，每个平面把权空间分成了三部分，正侧、负侧和平面本身。第39页，共82页，星期日，2025年，2月5日5.3感知准则函数（Perception）所以，如果解存在，则必定在N个超平面的正半空间的相交区。这个区域称为解区。区域中的每个向量都是解向量a*。解和解区的两维示意图如下：第40页，共82页，星期日，2025年，2月5日5.3感知准则函数（Perceptron）第41页，共82页，星期日，2025年，2月5日为使所得的a*对新的样本也能正确分类，a*最好位于解区的中央。为提高泛化能力，使解更可靠，引入余量b0，寻找满足aTyi=b,i=1,2,…,N的解区。显然，满足aTyi=b0的解区位于原aTyi0的解区之内，且离原解区边界的距离为5.3感知准则函数（Perceptron）4．对解区的限制。第42页，共82页，星期日，2025年，2月5日5.3感知准则函数（Perceptron）。二．感知准则函数及其梯度下降算法设有一组样本y1,…,yN（规范的增广样本向量）。目的是求一a*，使得a*Tyi0,i=1,2,…,N。第43页，共82页，星期日，2025年，2月5日5.3感知准则函数（Perceptron）。构造一个准则函数，Ye：被a所错分的样本集合。即aTy=0的（错分）。此时-aTy=0。∴第44页，共82页，星期日，2025年，2月5日5.3感知准则函数（Perceptron）。∴只有当Ye为空集时，不存在