报告四K-L变换,kpca,fisher详解.docVIP

基于K-L变换的iris数据分类 一、实验原理 K-L(PCA)变换是一种基于目标统计特性的最佳正交变换。它具有一些优良的性质：即变换后产生的新的分量正交或者不相关；以部分新的分量表示原矢量均方误差最小；变换后的矢量更趋确定，能量更集中。这一方法的目的是寻找任意统计分布的数据集合之主要分量的子集。设n维矢量，其均值矢量，协方差阵，此协方差阵为对称正定阵，则经过正交分解可表示为,其中，为对应特征值的特征向量组成的变换阵，且满足。变换阵为旋转矩阵，再此变换阵下变换为,在新的正交基空间中，相应的协方差阵。通过略去对应于若干较小特征值的特征向量来给y降维然后进行处理。通常情况下特征值幅度差别很大，忽略一些较小的值并不会引起大的误差。对经过K-L变换后的特征向量按最小错误率bayes决策和BP神经网络方法进行分类。 二、实验步骤 （1）计算样本向量的均值和协方差阵 ，（2）计算协方差阵的特征值和特征向量，则 从上面的计算可以看到协方差阵特征值0.023835和0.07821相对于0.24267和4.2282很小，并经计算个特征值对误差影响所占比重分别为92.462%、5.3066%、1.7103%和0.52122%，因此可以去掉k=1~2个最小的特征值，得到新的变换阵。 （3）将样本变换为。 （4）按照最小错误率bayes决策方法分类。 （5）用BP神经网络方法进行分类。 三、实验结果及分析 最小错误率bayes决策分类 将最小的一个特征值0.023835对应的特征向量去掉，则新的变换矩阵为 经变换后的向量在新的3维空间如图1所示： 图1-1 样本经K-L变换后分布图 变换后的各类样本分别用前30个样本进行训练，用剩下的20个样本进行测试，结果如下： 取第一类样本的后20个数据按、分类，t1=20，t2=0，分类正确；取第二类样本的后20个数据按、分类，t1=0，t2=20，分类正确。 取第一类样本的后20个数据按、分类，t1=20，t3=0，分类正确；取第三类样本的后20个数据按、分类，t1=0，t3=20，分类正确。 取第二类样本的后20个数据按、分类，t2=19，t3=1，中一样本错分到中；取第三类样本的后20个数据按、分类，t2=0，t3=20，分类正确。 将最小的两个特征值0.023835和0.07821对应的特征向量去掉，则新的变换矩阵为 经变换后的向量在新的2维平面如图2所示 图1-2 样本经K-L变换后分布图 变换后的各类样本分别用前30个样本进行训练，用剩下的20个样本进行测试，结果如下： 取第一类样本的后20个数据按、分类，t1=20，t2=0，分类正确；取第二类样本的后20个数据按、分类，t1=0，t2=20，分类正确。 取第一类样本的后20个数据按、分类，t1=20，t3=0，分类正确；取第三类样本的后20个数据按、分类，t1=0，t3=20，分类正确。 取第二类样本的后20个数据按、分类，t2=19，t3=1，中一样本错分到中；取第三类样本的后20个数据按、分类，t2=1，t3=19，中一样本错分到中。 以上结果与未经K-L变换的最小错误率bayes决策分类结果比较，结果几乎完全相同，只是在去掉最小的两个特征值对应特征向量的K-L变换时取第三类样本的后20个数据按、分类，中一样本错分到中。 BP神经网络分类 将最小的两个特征值0.023835和0.07821对应的特征向量去掉，经新的变换矩阵变换后的各类样本分别用前30个样本进行训练，用剩下的20个样本进行测试，分类结果如下： n1=20 n2=19 n3=19,即第二和第三类各有一个样本错分到另一类中去，分类结果图如下。 图2-1 分类结果图 图2-2 误差性能曲线 将最小的一个特征值0.023835对应的特征向量去掉，经新的变换矩阵变换后的各类样本分别用前30个样本进行训练，用剩下的20个样本进行测试，分类结果如下： n1=20 n2=19 n3=19,即第二和第三类各有一个样本错分到另一类中去，分类结果图如下。 图2-3 分类结果图 图2-4 误差性能曲线 以上结果与未经K-L变换的BP神经网络分类结果比较，K-L变换后结果在大多数情况下未经处理的分类结果。 通过以上两种基于K-L变换的分类方法可以看到，该变换可以将样本的显著特征抽取出来，在降低特征数据的维数减少运算量和存储量的同时，分类结果基本不受影响，甚至在某些次优分类方法（BP神经网络）下可能优于未经变换处理进行的分类。 K-L变换的最小错误率bayes分类 clear % 原始数据导入 iris = load(C:\MATLAB7\work\模式识别\iris.txt); N=150;%取N=150个样本 %求第一