《模式识别-总结.pptVIP

判别规则： 解多类问题的两分法:⑴ 两分法 有不确定区域⑵ 两分法⑶ 没有不确定区的 两分法 令 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 3·3 判别函数值的鉴别意义、权空间及解空间 （1）系数矢量 是超平面 的法矢量； （2） 的绝对值 正比于 到超平面的距离； （3） 的正（负）反映 在超平面 的正（负）侧。 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 3·4 Fisher线性判别 多维 ? Fisher变换 ? 利于分类的一维 （1）Fisher准则函数 对两类问题 作变换，n维矢量 在矢量 方向轴上的投影 Fisher准则函数 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. （2）Fisher变换 对于两类问题, 它所对应的本征矢量 称为Fisher最佳鉴别矢量。 Fisher变换函数 ： （3）Fisher判别规则 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 3.5 一次准则函数及梯度下降法 如果训练模式已经符号规范化，即 已乘以－1（包括增广分量1），则 收敛定理 解多类问题 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 3·6 二次准则函数及其算法 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 式中 是 矩阵。 将上面的不等式组写成矩阵方程形式，并引入N 维余量矢量 ，于是不等式方程组变为 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 最小方差准则及W-H算法 针对方程组 ,构造方差准则函数 对于 ,此时的 , 而对于 ,此时的 。如果方程组有唯一解,说 明训练模式集是线性可分的,如果方程组无解,极小点值是最小二乘解。一般情况下使 极小等价于误分模式数目最少。 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. ⑴ 伪逆法 求 对 的梯度并令其为零，有 可得 (3-6-12) 当(X ’X)-1存在时， X +=(X ’X)-1X ’称为X的伪逆(也称广义逆或M-P逆)， 称为 的伪逆解。 X ’X是(n+1)×(n+1)矩阵，一般是非奇异的。 当(X ’X)-1不存在时，可用广义逆法解 这里(X ’X)+为X ’X的广义逆矩阵。 求