报告四K-L变换,kpca,fisher分析.doc

基于K-L变换的iris数据分类 一、实验原理 K-L(PCA)变换是一种基于目标统计特性的最佳正交变换。它具有一些优良的性质：即变换后产生的新的分量正交或者不相关；以部分新的分量表示原矢量均方误差最小；变换后的矢量更趋确定，能量更集中。这一方法的目的是寻找任意统计分布的数据集合之主要分量的子集。设n维矢量，其均值矢量，协方差阵，此协方差阵为对称正定阵，则经过正交分解可表示为,其中，为对应特征值的特征向量组成的变换阵，且满足。变换阵为旋转矩阵，再此变换阵下变换为,在新的正交基空间中，相应的协方差阵。通过略去对应于若干较小特征值的特征向量来给y降维然后进行处理。通常情况下特征值幅度差别很大，忽略一些较小的值并不会引起大的误差。对经过K-L变换后的特征向量按最小错误率bayes决策和BP神经网络方法进行分类。 二、实验步骤 （1）计算样本向量的均值和协方差阵 ，（2）计算协方差阵的特征值和特征向量，则 从上面的计算可以看到协方差阵特征值0.023835和0.07821相对于0.24267和4.2282很小，并经计算个特征值对误差影响所占比重分别为92.462%、5.3066%、1.7103%和0.52122%，因此可以去掉k=1~2个最小的特征值，得到新的变换阵。 （3）将样本变换为。 （4）按照最小错误率bayes决策方法分类。 （5）用BP神经网络方法进行分类。 三、实验