ch43最小平方误差准则函数.pptVIP

4.4 最小平方误差准则函数（MSE, Minimum Squared-Error） 感知器准则函数及其梯度下降算法只适用于线性可分的情形，而对于线性不可分的情形，迭代过程无法终止，即算法不收敛。 但是在实际问题中，往往无法预先知道样本集是否线性可分。因此，我们希望找到一种既适合于线性可分的情形，又适合于线性不可分的情形。对于线性可分情形，利用该算法可以找到一个类似于上节算法的 (将全部样本正确分类)；对于线性不可分的情形，能够找到一个使得误差的平方和最小的权向量 。 MSE准则函数的引入 对样本集中的样本向量，类似于上一节，做规范化处理； 假设训练集为： 规范化后的训练集为： 最小平方(MSE)准则函数 假设已经找到了一个最佳的权向量 ，并由此构成判别函数。若给定样本 ，则判别函数为 ，则称 为 的希望输出。 若权向量 不是最佳的权向量 ，则对于样本 ，判别函数值为 。定义如下的误差函数： 最小平方误差(MSE)准则函数 最小平方(MSE)准则函数的矩阵形式 最小平方(MSE)准则函数的矩阵形式 其中， 下面的问题，是采用何种算法求解使 取得极小值的 伪逆法 首先求 的梯度 令 ，得 式中的 是一个方阵，且