模式识别5-1主成分分析和K-L变换［PPT课件］.pptVIP

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 主成分分析的几何解释 平移、旋转坐标轴 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 主成分分析的几何解释 平移、旋转坐标轴 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 主成分分析的几何解释 平移、旋转坐标轴 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 3.2. PCA: 进一步解释 椭圆有一个长轴和一个短轴。在短轴方向上，数据变化很少；在极端的情况，短轴如果退化成一点，那只有在长轴的方向才能够解释这些点的变化了；这样，由二维到一维的降维就自然完成了。 二维数据 进一步解释PCA 当坐标轴和椭圆的长短轴平行，那么代表长轴的变量就描述了数据的主要变化，而代表短轴的变量就描述了数据的次要变化。 但是，坐标轴通常并不和椭圆的长短轴平行。因此，需要寻找椭圆的长短轴，并进行变换，使得新变量和椭圆的长短轴平行。 如果长轴变量代表了数据包含的大部分信息，就用该变量代替原先的两个变量（舍去次要的一维），降维就完成了。 椭圆（球）的长短轴相差得越大，降维也越有道理。 进一步解释PCA(续) 对于多维变量的情况和二维类似，也有高维的椭球，只不过无法直观地看见罢了。 首先把高维椭球的主轴找出来，再用代表大多数数据信息的最长的几个轴作为新变量；这样，主成分分析就基本完成了。 注意，和二维情况类似，高维椭球的主轴也是互相垂直的。这些互相正交的新变量是原先变量的线性组合，叫做主成分(principal component)。 正如二维椭圆有两个主轴，三维椭球有三个主轴一样，有几个变量，就有几个主成分。 选择越少的主成分，降维就越好。什么是标准呢？那就是这些被选的主成分所代表的主轴的长度之和占了主轴长度总和的大部分。有些文献建议，所选的主轴总长度占所有主轴长度之和的大约85%即可，其实，这只是一个大体的说法；具体选几个，要看实际情况而定。 3.3. 均值和协方差 特征值和特征向量 设有n个样本，每个样本观测p个指标（变量）：X1，X2，…，Xn, 得到原始数据矩阵： 1. 样本均值 显然,样本均值是数据散列图的中心. 于是 p*n 矩阵的列B具有零样本均值, 称为平均偏差形式 M 2. 样本协方差 中心 中心 协方差的大小在一定程度上反映了多变量之间的关系，但它还受变量自身度量单位的影响. 注意：协方差 是对称矩阵且半正定 3.3 特征值与特征向量 定义 Ａ为ｎ阶方阵，λ为数， 为ｎ维非零向量， 若 则λ称为Ａ的特征值， 称为Ａ的特征向量． 注 ②　　　并不一定唯一； ③　ｎ阶方阵Ａ的特征值，就是使齐次线性方程组 ①　特征向量　　 ，特征值问题只针对与方阵； 有非零解的λ值，即满足 的λ都是方阵Ａ的特征值． 定义 称以λ为未知数的一元ｎ次方程 为Ａ的特征方程． 例1: 从一个总体中随机抽取4个样本作三次测量,每一个样本的观测向量为: 计算样本均值M和协方差矩阵S以及S的特征值和特征向量. Syntax C = cov(X) AlgorithmThe algorithm for cov is [n,p] = size(X); X = X - ones(n,1) * mean(X); Y = X*X/(n-1); See Also corrcoef, mean, std, var ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 平移、旋转坐标轴 ? M 为了方便，我们在二维空间中讨论主成分的几何意义。 设有n个样本，每个样本有两个观测变量xl和x2，在由变量xl和x2 所确定的二维平面中，n个样本点所散布的情况如椭圆状。由图可以看出这n个样本点无论是沿着xl 轴方向或x2轴方向都具有较大的离散性，其离散的程度可以分别用观测变量xl 的方差和x2 的方差定量地表示。显然，如果只考虑xl和x2 中的任何一个，那么包含在原始数据中的信息将