h4_3最小平方误差准则函数.pptVIP

4.4 最小平方误差准则函数（MSE, Minimum Squared-Error） 感知器准则函数及其梯度下降算法只适用于线性可分的情形，而对于线性不可分的情形，迭代过程无法终止，即算法不收敛。 但是在实际问题中，往往无法预先知道样本集是否线性可分。因此，我们希望找到一种既适合于线性可分的情形，又适合于线性不可分的情形。对于线性可分情形，利用该算法可以找到一个类似于上节算法的 (将全部样本正确分类)；对于线性不可分的情形，能够找到一个使得误差的平方和最小的权向量 。 * MSE准则函数的引入 对样本集中的样本向量，类似于上一节，做规范化处理； 假设训练集为： 规范化后的训练集为： * 最小平方(MSE)准则函数 假设已经找到了一个最佳的权向量 ，并由此构成判别函数。若给定样本 ，则判别函数为 ，则称 为 的希望输出。 若权向量 不是最佳的权向量 ，则对于样本 ，判别函数值为 。定义如下的误差函数： 最小平方误差(MSE)准则函数 * 最小平方(MSE)准则函数的矩阵形式 最小平方(MSE)准则函数的矩阵形式 其中， 下面的问题，是采用何种算法求解使 取得极小值的 * 伪逆法 首先求 的梯度 令 ，得 式中的 是一个方阵，且一般为非奇异矩阵，因此可得解： 其中， ，称其为 的伪逆。 * 例 已知样本： 样本规范化： 若取 则 故 * 利用伪逆法，可以求得 但是该方法计算量大，这是由于 并且要求 是非奇异的，其次， 的计算量也很大，同时可能引起较大的计算误差。因此，通常采用下面的梯度下降法。 * 梯度下降法 首先求出 的梯度如下： 梯度下降法的迭代公式为： 可以证明，若选择步长 ，而 是任意常数，则使用该算法得到的权向量序列收敛于使得 的权向量 注意：无论矩阵 是否奇异，该算法总能得到权向量 ，且该算法只涉及 的计算。 * Widrow-Hoff算法 上面的梯度下降法是一个批算法（成批修正算法），下面给出关于逐个样本的修正算法。 定义： 的梯度为： * Widrow-Hoff算法 因此，可以得到如下的迭代公式： 其中步长 一般是人为指定的， 可以放到步长中去，故迭代公式便可改写为： * Widrow-Hoff算法 一般的，可以选择 * 单样本修正算法 上述的伪逆算法和Widrow-Hoff算法，都存在一个致命的问题：如何确定 的希望输出 ？ 是由最佳权向量 所确定的： ，而 是未知的。既然 是未知的， 的希望输出从何而来？ 为此，假定单个样本的希望输出是已知的。在此基础之上，采用某种迭代算法求出权向量 * 单样本修正算法 把 的某种函数作为判别函数 ，这样 的希望输出为 。并且该函数的值只需根据 的类别就能够确定。 若 ，则 ; 若 ，则 即有， 若 ，则 若 ，则 * 单样本修正算法 如果使用了非最佳的权向量 构成了判别函数，那么对于 ，判别函数值 与其希望值之间一定存在误差 定义：准则函数为 利用梯度下降法求 * 单样本修正算法 函数 的形式如何： 该函数应满足的条件： 1）该函数的值域为 2）该函数是可导的。 满足上述条件的函数有很多，例如双极型S形函数 * 单样本修正算法 双极型S形函数的图像 * 单样本修正算法 双极型S形函数的基本属性 1) 当 时， ； 当 时， ； 2) 函数 在 上可导。且函数的导数为 * 单样本修正算法 准则函数 的梯度为 单样本修正算法的迭代公式为： * 单样本修正算法 MSE单样本修正算法与感知器准则函数单样本修正算法的分类器结构基本相同，其差别为： 感知器准则函数单样本修正算法之最终分类器函数