判别分析（二）费希尔判别.pptVIP

多个总体的Fisher判别法 多个总体的Fisher判别法 多个总体的Fisher判别法 实验 鸢尾花 鸢尾花是鸢尾属植物，是对一族草本开花植物的统称。“鸢尾”之名来源于希腊语，意思是彩虹。它表明天上彩虹的颜色尽可在这个属的花朵颜色中看到。 Iris数据集 Iris四个特征数据的交会图 IRIS数据无论在哪一个二维空间，第一类和另两类是线性可分的，第二类和第三类是线性不可分的 Iris的Fisher判别结果交会图 KFDA判别方法 ——核方法的基本理论 KFDA判别方法 ——实验分析 输入空间X中的数据可以分为两类，类1：，类2：对于两类数据很难找到一个超平面把两类数据分开，提取特征。 从图中可以看出，通过映射把输入空间中的数据映射到高维特征空间中后，就能有效的提取出原来数据中的特征。 KFDA判别方法 ——核及核函数的定义 定义5.2（特征空间）：假定 属于输入空间X，即 ，通过映射 将输入空间X映射到一个新的空间，F称作特征空间。 KPCA利用核方法，把数据从低维空间映射到高维特征空间，再利用PCA实现特征的提取。但随着维数的增加，计算量也随之增加，甚至带来所谓的“维数灾难”。在KPCA中，有效地解决了这一问题：把低维空间中的数据映射到高维空间时，并不需要知道高维空间中点的坐标，只需要它们之间的内积。核函数（John Shawe-Taylor,2004）就是解决这一问题的有效工具。 KFDA判别方法 ——核及核函数的定义 定义5.3（核函数）：核是一个函数K，这个函数对于所有的 ，满足 其中,表示内积运算，是从X到内积特征空间F的一个映射 上述的高维空间可以认为是一个再生核希尔伯特空间（Rproducing Kernel Hilbert Spaces,RKHS），RKHS中的向量是一个泛函，而此函数通常是一个非线性函数，同时RKHS又是一个线性空间，如果将输入向量映射到RKHS中，就能够利用线性空间中的方法解决非线性问题。 KFDA判别方法 KFDA判别方法 KFDA判别方法 KFDA判别方法 KFDA判别方法 核类间散度矩阵 核类内散度矩阵 KFDA判别方法 KFDA判别方法 KFDA判别方法 KFDA判别方法 KFDA判别方法 KFDA判别方法 KFDA判别方法 KFDA判别方法 第四章判别分析 Fisher判别 Fisher判别 在应用多元统计方法解决分类问题时，问题之一就是维数问题。在低维空间里解析上或计算上行得通的方法，在高维空间里往往行不通。因此，降低维数有时就成为处理实际问题的关键。 可以考虑把d维空间的样本投影到一条直线上，形成一维空间，这在数学上是容易办到的。然而，即使样本在d维空间里形成若干紧凑的相互分得开的集群，若把它们投影到一条任意的直线上，也可能使几类样本混在一起而变得无法识别。但在一般情况下，总可以找到某个方向，使在这个方向的直线上，样本的投影能分开得最好。问题是如何根据实际情况找到这条最好的、最易于分类的投影线。这就是Fisher法则所要解决的基本问题。 Fisher判别 Fisher判别 Fisher判别 费希尔判别的基本思想是投影（或降维） Fisher方法是要找到一个(或一组)投影轴w使得样本投影到该空间后能在保证方差最小的情况下，将不同类的样本很好的分开。并将度量类别均值之间差别的量称为类间方差(或类间散布矩阵);而度量这些均值周围方差的量称为类内方差(或类内散布矩阵)。Fisher判决的目标就是:寻找一个或一组投影轴，能够在最小化类内散布的同时最大化类间布。 Fisher判别 内容： 1、建立判别准则； 2、建立判别函数 3、回代样本； 4、估计回代的错误率； 5、判别新的样本。 由于 是线性函数，一般可将 表示为 （4.2） 对于线性函数 ，它的几何表示就是空间中 的一条直线或平面，或超平面，如果我们把两 总体 、 看成空间的两个点集，该平面所起的 作用就是尽可能将空间两个点集 、 分开，如 图4.1所示。 Fisher判别 图 4.1 要选择一个正确的投影方向，使同类样品点沿该方向在直线 上的投影点尽可能集中，不同类样品点尽可能分开，这就是费歇提出的关于未知样品归属于两类总体的模型形成思想。 Fisher判别 选择合适的投影方向，就是要建立合适的判别函数。 1若判别函数是 则为线性判别分析