模式识别线性判函数.pptVIP

5.4 最小平方误差准则函数 一．引言 上节的感知准则函数只适合于线性可分的情况。对线性不可分情况，算法不收敛。但在实际问题中， 1．有许多问题不是线性可分的 2．事先不知道是否线性可分 5.4 最小平方误差准则函数 因此我们希望找到一些算法既适合线性可分的情况，又适合线性不可分的情况。 对线性可分的问题，算法求得的解能把两类正确分开； 而对线性不可分的问题，算法也能找到在一定准则下的最优解。 5.4 最小平方误差准则函数 对于规范化的增广样本向量，yi=1, …, N，要找a，使得aTyi0, i=1, …, N。这是求N个不等式组解的问题。 若线性可分--线性不等式组是一致的，有解--能求出a，使aTyi0, i=1, …, N； 若线性不可分---线性不等式组不一致，无解--求一个a，比如说使正确分类的样本数最多，使成立的不等式的个数最多。 5.4 最小平方误差准则函数 这样，线性分类器的设计就转化为解线性不等式组的问题。 这时的准则函数是一类最少错分样本数准则。（略） 下面要介绍的方法是把线性分类器的设计转换为解线性方程组。 5.4 最小平方误差准则函数 二．最小平方误差准则函数 把aTyi0, i=1, …, N写成联立方程的形式 Ya=b 求使 极小的a作为问题的解。这是矛盾方程组的最小二乘解。 称为最小平方误差准则函数（MSE）。 和平方误差准则函数 大于未知数的个数，所以上述方程组一般为矛盾方程组，没有准确解。但可以定义一个误差向量 5.4 最小平方误差准则函数 由于通常 ，即样本数（方程的个数） （向量） 对 求梯度 5.4 最小平方误差准则函数 下面推导在MSE下的解。 令 ，有 而 是 的矩阵，一般是非奇异的。 ( * ) ∴ 5.4 最小平方误差准则函数 式中 是 y的伪逆。 在a*的解( * )式中，a*显然依赖于b。如何选择b呢？ 当b取某些特殊值时，MSE（最小平方误差）解有较好的性质。 的矩阵，称为 ∴ ( * ) 5.4 最小平方误差准则函数 当取 MSE解a*等价于Fisher解。 时， 时，MSE的解a*在最小均方误差意 5.4 最小平方误差准则函数 当取 式中 时， 当 义逼近贝叶斯判别函数： 最小。 即使MSE最小的解使 5.4 最小平方误差准则函数 还可以由实际问题确定bi， aTyi=bi 5.4 最小平方误差准则函数 三．MSE准则函数的梯度下降法 在伪逆解 中，需要计算Y+。 这时要求 存在 的计算量大，而且可能引入更大的计算误差。 5.4 最小平方误差准则函数 因此实际操作中往往不用求Y+解析解的方法，而是用梯度下降法等最优化技术。 ∵ 梯度 ∴ 梯度下降法可以写为 5.4 最小平方误差准则函数 如果选 是任意的正常数， 则上述迭代公式得到的权向量序列收敛于 使 的权向量a*。 即MSE准则的解。 5.4 最小平方误差准则函数 上述的梯度下降法不论YTY可逆与否，总能产生一个有用的权a*。而且计算 的计算 量比计算 的计算量小。 △为了进一步减小计算量和存储，可以采用单样本修正法，即把样本作为一个不断重复出现的序列来处理。 5.4 最小平方误差准则函数 这时的迭代公式为： 准确地说，单样本修正法不是梯度下降法。两者不同，所得结果也不同。 5.4 最小平方误差准则函数 上述算法是对MSE准则函数采用梯度下降法的一个修正算法，称为Widrow-Hoff算法。 5.4 最小平方误差准则函数 四．最小平方误差准则函数在 模式分类中的问题： 第五章 线性判别函数（分类器，参数分类器） 5.1 引言 5.2 Fisher 线性判别 5.3 感知准则函数（Perceptron） 5.4 最小平方误差准则函数 5.5 *多层感知的学习算法 —误差反向传播算法 *5.5 多层感知的学习算法 —误差反向传播算法 (Error Back-Propagation algor.) 5.2 Fisher 线性判别 要找一个最好的投影方向b，使下面的准则函数达到最大值。 5.2 Fisher 线性判别 其中： 而 投影后的 投影前的 5.2 Fisher 线性判别 由求JF的极值问题，最后得到 和贝叶斯最小错误率决策的b只差一个常数，方