模式识别第四章线性判别函数.pptVIP

MSE方法与Fisher方法的关系 与Fisher方法的关系：当 N1个训练样本属于?1, N2个训练样本属于?2 则在线性可分的情况下，MSE解与Fisher线性判别函数等价，MSE解等价于Fisher解。 * 第六十二页，共九十页，2022年，8月28日 MSE方法与Bayes方法的关系 当N→∞，b=uN= [1,1, …, 1]T 时，则它以最小均方误差逼近Bayes判别函数： * 第六十三页，共九十页，2022年，8月28日 计算上式伪逆存在问题： 逆矩阵常常要求是非奇异的。 计算量大。 采用梯度下降法递归求解： 批量样本修正法 4.5.2 MSE准则函数的梯度下降算法 * 第六十四页，共九十页，2022年，8月28日 样本看成无限重复的序列，即单样本修改权向量，Widrow-Hoff算法。 随机MSE准则函数及其随机逼近算法---样本看成是随机样本集，权向量求解也看随机最优化问题。 单样本修正法 * 第六十五页，共九十页，2022年，8月28日 举例 利用MSE求解权向量 x2 x1 X4 (1,1) X3 (1,0) X1 (0,0) X2 (0,1) 已知模式样本为： * 第六十六页，共九十页，2022年，8月28日 * 第六十七页，共九十页，2022年，8月28日 4.6 多类问题 两类别问题可以推广到多类别问题 ωi/~ωi 法：将C类别问题化为(C-1