模式识别5-1主成分分析和K-L变换选编.ppt

主成分分析;;K-L变换;K-L变换;K-L变换;K-L变换;K-L变换;K-L变换;K-L变换;K-L变换典型应用;K-L变换典型应用;K-L变换典型应用;使用K-L变换进行特征提取;;题目: 主成分分析 PCA;内 容;1. 前 言;PCA; (1) 如何作主成分分析? 当分析中所选择的变量具有不同的量纲，变量水平差异很大，应该选择基于相关系数矩阵的主成分分析。 ;各个变量之间差异很大; （2） 如何选择几个主成分。 主成分分析的目的是简化变量，一般情况下主成分的个数应该小于原始变量的个数。关于保留几个主成分，应该权衡主成分个数和保留的信息。 （3）如何解释主成分所包含的几何意义或经济意义或其它。 ; 美国的统计学家斯通(Stone)在1947年关于国民经济的研究是一项十分著名的工作。他曾利用美国1929一1938年各年的数据，得到了17个反映国民收入与支出的变量要素，例如雇主补贴、消费资料和生产资料、纯公共支出、净增库存、股息、利息、外贸平衡等等。; 根据经济学知识，斯通给这三个新变量分别命名为总收入F1、总收入变化率F2和经济发展或衰退的趋势F3。更有意思的是，这三个变量其实都是可以直接测量的。; 主成分分析就是试图在力保数据信息丢失最少的原则下，对这种多变量的数据表进行最佳综合简化，也就是说，对高维变量空间进行降维处理。 很显然，识辨系统在一个低维空间要比在一个高维空间容易得多。 ;实例2: 成绩数据;从本例可能提出的问题;例中的的数据点是六维的；也就是说，每个观测值是6维空间中的一个点。我们希望把6维空间用低维空间表示。;平均成绩;; 先假定数据只有二维，即只有两个变量，它们由横坐标和纵坐标所代表；因此每个观测值都有相应于这两个坐标轴的两个坐标值； 如果这些数据形成一个椭圆形状的点阵（这在变量的二维正态的假定下是可能的）. ;?;?;?;?;3.2. PCA: 进一步解释;二维数据;进一步解释PCA;进一步解释PCA(续);正如二维椭圆有两个主轴，三维椭球有三个主轴一样，有几个变量，就有几个主成分。 选择越少的主成分，降维就越好。什么是标准呢？那就是这些被选的主成分所代表的主轴的长度之和占了主轴长度总??的大部分。有些文献建议，所选的主轴总长度占所有主轴长度之和的大约85%即可，其实，这只是一个大体的说法；具体选几个，要看实际情况而定。;3.3. 均值和协方差 特征值和特征向量;1. 样本均值;2. 样本协方差;3.3 特征值与特征向量;例1: 从一个总体中随机抽取4个样本作三次测量,每一个样本的观测向量为: ;Syntax C = cov(X) AlgorithmThe algorithm for cov is [n,p] = size(X); X = X - ones(n,1) * mean(X); Y = X*X/(n-1); See Also corrcoef, mean, std, var;?; 为了方便，我们在二维空间中讨论主成分的几何意义。 设有n个样本，每个样本有两个观测变量xl和x2，在由变量xl和x2 所确定的二维平面中，n个样本点所散布的情况如椭圆状。由图可以看出这n个样本点无论是沿着xl 轴方向或x2轴方向都具有较大的离散性，其离散的程度可以分别用观测变量xl 的方差和x2 的方差定量地表示。显然，如果只考虑xl和x2 中的任何一个，那么包含在原始数据中的信息将会有较大的损失。 ; 如果我们将xl 轴和x2轴先平移，再同时按逆时针方向旋转?角度，得到新坐标轴Fl和F2。Fl和F2是两个新变量。; Fl，F2除了可以对包含在Xl，X2中的信息起着浓缩作用之外，还具有不相关的性质，这就使得在研究复杂的问题时避免了信息重叠所带来的虚假性。二维平面上的个点的方差大部分都归结在Fl轴上，而F2轴上的方差很小。Fl和F2称为原始变量x1和x2的综合变量。 F简化了系统结构，抓住了主要矛盾。 ;;§3.4 PCA的性质 ; 2、若上述矩阵的特征根所对应的单位特征向量为 ; §3.4 PCA的性质(续); 3.4、精度分析 ;PCA　　常用统计量： １.特征根　　λi ２.各成分贡献率　　　 ３.前各成分累计贡献率 ４.特征向量 各成分表达式中标准化原始变量的系数向量，就是各成分的特征向量。 ; 我们进行主成分分析的目的之一是希望用尽可能少的主成分F1，F2，…，Fk（k≤p）代替