第2章线性判别函数.pptVIP

构造Lagrange函数极大值的条件为：即如果非奇异，左乘，则有解这个式子，就是求矩阵的本征值。第61页，共92页，星期日，2025年，2月5日考虑到我们求解问题的特殊性（只确定方向），其中是常数，所以总是在的方向上。从而所以略去比例因子，它不影响直线的方向，得：第62页，共92页，星期日，2025年，2月5日这就是使准则函数极大的解。就是使模式样本的投影在类间最分散，类内最集中的最优解。有了后，得就可将各样本由维空间投影到一维空间，即直线上，变成一维样本，它们给出较好的分类结果。此类方法有一定的局限性：只对准则函数最优；没有利用样本的分布信息，错误概率不能达到最小。第63页，共92页，星期日，2025年，2月5日2.8支持向量机

SupportVectorMachineSVM回顾：用线性判别函数方法解决分类问题的方法1.思路（1）训练样本集特征空间划分决策面线性判别函数（2）待识别模式判别2.问题核心：求线性判别函数的权向量3.求解方法：感知准则函数，梯度下降法，固定增量法求得权向量=确定了特征空间的两类分界面（决策面）第64页，共92页，星期日，2025年，2月5日一.最优分界面从线性判别函数的讨论中，我们已经知道，对于线性可分的两类样本，总可以找到一个分界面，将两类样本正确分类，而且，这样的分界面不是唯一的。第65页，共92页，星期日，2025年，2月5日为了解线性不等式组，需要构造一个准则函数，并希望构造的准则函数有极值的形式。是由于使用权向量而被误分类的样本集合。当一个样本被误分类时，就有,所以。仅当时，达到最小值。第29页，共92页，星期日，2025年，2月5日我们称为感知准则函数。有了准则函数之后，我们就可以用最优化方法寻找使准则函数达到极小值的解权向量。如何求？第30页，共92页，星期日，2025年，2月5日2.梯度下降法梯度的定义梯度是函数的一阶偏导数组成的向量,记为二元函数的等值线定义:坐标面上函数相等的各点的连线叫等值线,也称等高线。第31页，共92页，星期日，2025年，2月5日函数为不同值时，得到一系列的等值线，构成的等值线族。在极值处的等值线聚成一点，并位于等值线的中心，当该中心为极小值时，离开它越远，值越大，反之，若该中心为极大值时，离开它越远，的值越小。第32页，共92页，星期日，2025年，2月5日梯度方向由梯度的定义知，梯度的方向就是函数的法线的方向。第33页，共92页，星期日，2025年，2月5日梯度方向的性质:沿梯度方向，函数值增长最快，为最速上升方向；沿负梯度方向，函数值下降最快，为最速下降方向。第34页，共92页，星期日，2025年，2月5日梯度下降法的基本思想：函数在某点的梯度是一个向量，它的方向与过点的等量面的法线方向重合，指向增加的一方，是准则函数变化率最大的方向。反之，负梯度的方向则是函数减少的最快的方向。所以在求准则函数的极小值时，沿负梯度方向搜索有可能最快的找到最小值。第