模式识别特征的选择与提取.pptVIP

和前面一样，令{uj，j = 1，2，…，n}是观测空间的标准正交基。另x是任一观测向量,x~是它的截尾表示形式， x~ = y1u1 + y2u2 + … + ymum  对于第i类，我们选择一组uj，它能使第i类的均方误差最小， εi = Ei[|x-x~|2] =  （*） Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 而同时使其它类的均方误差最大。?  εk = Ek[|x-x~|2] =   (k = 1，2，…，c，k≠i) (**) 单独使εi最小，而不管上式的条件已在前面讨论过。 若同时也满足（**）式的条件，将使得所选择的基能最优的表示第i类，但不能最优的表示其它类。 由于一般不能同时使εi最小，而εk最大，下面引入另外一个相关的准则。 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 和7.2节一样，可以表示 εk = ，k=1，2，…，c  由于Ri是半正定的，且λmax≤1， ∴ εk的大小为下式限定： 0≤ εk≤n-m， k =1，2，…,c 这样，使（**）式最大等价于使下式最小（k≠i） (n－m)－εk = = εk = Ek[|x-x~|2] = (k = 1，2，…，c，k≠i) (**) Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 最大?k（k≠i，k=1，2，…,c）和最小?i的准则可以写成下面的组合形式，并用类数标准化。  Ci=  Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 把?i = 和（n－m）－?k的表达式代入，有 Ci =  式中，Gi= (*)  上式的准则在形式上和7.2节讨论的一样。 ∴为了选取m个特征向量ui来表示x~,以使Ci最小，这时的特征向量应是Gi 的最大的m个特征值所对应的特征向量。 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 下面的分析说明确实是这样。假定e是Gi的标准特征向量，那么相应特征值λ可以表示为 λ= eTGie =   由于λmax≤1和相关矩阵的半正定性质，∴上式括号中每一个二次项的特征值在0～1之间，∴ 0≤λ≤1。 而且λ接近于1时要求eTRie→1,而eTRke(k≠i)却→0， Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 这样，Gi的相应于特征值接近1的特征向量对应着i类最重要的特征。 当e = 2 时，（*）式变为 G1 + G2 = I 这和两类时的情况相似，G1 和 G2 的特征向量相同，其特征值间的关系和变换后的矩阵R1’ 、R2’时的一样。 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 当C＞2时，情况就复杂了。 上述的方法还可以进一步简化