线性判别函数.pptVIP

感谢大家观看第64页,共64页，2024年2月25日，星期天4.3感知准则函数（两类）按单样本修正法重作例题固定增量法第32页,共64页，2024年2月25日，星期天4.3感知准则函数（两类）迭代方法要从理论上证明收敛，此处仅以图形方式说明修正前错分类修正后正确分类第33页,共64页，2024年2月25日，星期天4.3感知准则函数（两类）结论：可以证明，采用梯度下降法对于线性可分的样本集，经过有限步修正，一定能找到一个使准则函数达到极小值的权向量a，即算法在有限步内收敛，其收敛速度取决于初始权向量和步长。分类界面接近最终位置时，步长需选得较小，否则修正过头。但如各步步长都选得很小，收敛速度变慢。为此，采用变步长方案。对于线性不可分情况，算法不收敛。第34页,共64页，2024年2月25日，星期天4.3感知准则函数（两类）单样本修正与批处理的比较：（1）学习开始时不能得到所有的训练样本，必须使用在线方法。（2）训练样本数很大时，单样本方便，比批处理有效，因为批处理需要附加记忆来积累局部更新。（3）单样本引入一些随机噪声，有助于逃离局部极小值。批处理引入一些平均滤波。（4）单样本适合大规模分类问题，因为很多训练样本含有冗余信息，对梯度贡献类似，更新权值前计算所有样本浪费。第35页,共64页，2024年2月25日，星期天4.3感知准则函数（两类）单样本修正与批处理的比较：（5）批处理对梯度矢量估计较好，避免了权值变化相互影响，因此需要高精度映射时，选用批处理方法，但其难于通过提高计算速度来补偿增加的计算开销。（6）批处理在复杂优化中有直接应用，单样本与批处理的相对有效性与求解的问题直接相关。结论：许多情况下，单样本修正优于批处理，特别是对大的和冗余的训练集。第36页,共64页，2024年2月25日，星期天4.4最小平方误差准则函数感知器对线性不可分情况不收敛∵样本集是否线性可分无法确定∴希望找到一种既适合线性可分又适合线性不可分情况的算法。该算法具有如下特性：对于线性可分情况，一定能找到将样本全部正确分类的权向量。对于线性不可分情况，得到一个使误差平方和极小的权向量。该准则函数称为平方误差准则函数。第37页,共64页，2024年2月25日，星期天4.4最小平方误差准则函数定义平方误差准则函数第38页,共64页，2024年2月25日，星期天4.4最小平方误差准则函数最小二乘近似解即方程个数大于未知数个数，属超定方程组，一般无解，但可求线性最小二乘解。第39页,共64页，2024年2月25日，星期天4.4最小平方误差准则函数一、伪逆法（解析方法）第40页,共64页，2024年2月25日，星期天4.4最小平方误差准则函数一、伪逆法（解析方法）第41页,共64页，2024年2月25日，星期天4.4最小平方误差准则函数一、伪逆法（解析方法）b的选取？等价于Fisher线性判别渐进逼近贝叶斯判别函数第42页,共64页，2024年2月25日，星期天4.4最小平方误差准则函数第43页,共64页，2024年2月25日，星期天4.4最小平方误差准则函数上例中如何求逆？初等变换第44页,共64页，2024年2月25日，星期天4.4最小平方误差准则函数二、梯度下降法第45页,共64页，2024年2月25日，星期天4.4最小平方误差准则函数MSE的梯度下降法第46页,共64页，2024年2月25日，星期天4.4最小平方误差准则函数MSE梯度下降法的单样本改进第47页,共64页，2024年2月25日，星期天4.5线性分类器的多类推广1、按两类问题处理one-against-all123C类C个判别函数，若若两个判别函数同时大于0，则样本落入不确定区域缺点：存在不确定区域，样本落入其中无法确定类别，错误率大。第48页,共64页，2024年2月25日，星期天-123+-++-4.5线性分类器的多类推广例：设有一个三类问题，其判别函数为第49页,共64页，2024年2月25日，星期天4.5线性分类器的多类推广两个判别函数同时大于0则落入不确定区-123+-++-第50页,共64页，2024年2月25日，星期天4.5线性分类器的多类推广2、多类化两类one-against-one132用线性分类器将类别两两分开，C类问题需要C(C-1)/2个判别函数仍然存在不确定区域第51页,共64页，2024年2月25日，星期天4.5线性分类器