KL变换和主成分分析.pptVIP

2021/3/27 * 正如二维椭圆有两个主轴,三维椭球有三个主轴一样,有几个变量,就有几个主成分。 选择越少的主成分，降维就越好。什么是标准呢?那就是这些被选的主成分所代表的主轴的长度之和占了主轴长度总和的大部分。有些文献建议，所选的主轴总长度占所有主轴长度之和的大约85%即可，其实，这只是一个大体的说法;具体选几个，要看实际情况而定。 2021/3/27 * 3.3. 均值和协方差 特征值和特征向量 设有n个样本,每个样本观测p个指标（变量）:X1,X2,…，Xn, 得到原始数据矩阵: 2021/3/27 * 1. 样本均值 显然,样本均值是数据散列图的中心. 于是 p*n 矩阵的列B具有零样本均值, 称为平均偏差形式 M 2021/3/27 * 2. 样本协方差 中心 中心 协方差的大小在一定程度上反映了多变量之间的关系,但它还受变量自身度量单位的影响. 2021/3/27 * 3.3 特征值与特征向量 定义 Ａ为ｎ阶方阵，λ为数， 为ｎ维非零向量， 若 则λ称为Ａ的特征值, 称为Ａ的特征向量． 注 ②　　　并不一定唯一； ③　ｎ阶方阵Ａ的特征值,就是使齐次线性方程组 ①　特征向量　　 ，特征值问题只针对与方阵； 有非零解的λ值,即满足 的λ都是方阵Ａ的特征值． 定义 称以λ为未知数的一元ｎ次方程 为Ａ的特征方程． 2021/3/27 * 例1: 从一个总体中随机抽取4个样本作三次测量,每一个样本的观测向量为: 计算样本均值M和协方差矩阵S以及S的特征值和特征向量. 2021/3/27 * pcacov 功能:运用协方差矩阵进行主成分分析 Syntax C = cov(X) AlgorithmThe algorithm for cov is [n,p] = size(X); X = X - ones(n,1) * mean(X); Y = X*X/(n-1); See Also corrcoef, mean, std, var 2021/3/27 * §3.4 PCA的性质 一、两个线性代数的结论 1、若A是p阶实对称阵,则一定可以找到正交阵U,使 其中 是A的特征根。 2021/3/27 * 2、若上述矩阵的特征根所对应的单位特征向量为 则实对称阵 属于不同特征根所对应的特征向量是正交的,即有 令 2021/3/27 * §3.4 PCA的性质(续) 3、均值 4、方差为所有特征根之和 说明主成分分析把P个随机变量的总方差分解成为P个不相关的随机变量的方差之和。 协方差矩阵?的对角线上的元素之和等于特征根之和。 2021/3/27 * 3.4、精度分析 1）贡献率:第i个主成分的方差在全部方差中所占比重 ,称为贡献率 ,反映了原来P个指标多大的信息,有多大的综合能力 。 2）累积贡献率:前k个主成分共有多大的综合能力,用这k个主成分的方差和在全部方差中所占比重 来描述,称为累积贡献率。 2021/3/27 * PCA　　常用统计量: １.特征根　　λi ２.各成分贡献率　　　 ３.前各成分累计贡献率 ４.特征向量 各成分表达式中标准化原始变量的系数向量,就是各成分的特征向量。 2021/3/27 * 我们进行主成分分析的目的之一是希望用尽可能少的主成分F1,F2,…,Fk（k≤p）代替原来的P个指标。到底应该选择多少个主成分，在实际工作中，主成分个数的多少取决于能够反映原来变量80%以上的信息量为依据，即当累积贡献率≥80%时的主成分的个数就足够了。最常见的情况是主成分为2到3个。 2021/3/27 * 例 设 的协方差矩阵为 解得特征根为 , , ,, 第一个主成分的贡献率为5.83/（5.83+2.00+0.17）=72.875%,尽管第一个主成分的贡献率并不小,但应该取两个主成分。97.88% 2021/3/27 * §4 主成分分析的步骤 第一步:由X的协方差阵Σx,求出其特征根,即解方程 ,可得特征根 。 一、基于协方差矩阵 2021/3/27 * 第二步:求出分别所对应的特征向量U1,U2,…,Up， 第三步:计算累积贡献率,给出恰当的主成分个数。 第四步:计算所选出的k个主成分的得分。将原始数据的中心化值: 代入前k个主成分的表达式,分别计算出各单位k个主成分的得分,