12-主成份分析.pptVIP

主成份分析 洪金益 中南大学地学院 下，使得 的样本方差 达到最大，则称线性组合 为第二样本主成分。一般地，若向量ai 在约束条件 和 的样本协方差 下，使得的样本方差 达到最大，则称线性组合 为第i样本主成分， i=1,2,?,p 。 需要指出的是，样本主成分是使样本方差而非方差达到最大，是使样本协方差而非协方差为零。 * 地质数据处理基础12 第12章 主成分分析 1 引言 2 总体的主成分 3 样本的主成分 1 引言 主成分分析（或称主分量分析，principal component analysis）由皮尔逊（Pearson,1901）首先引入，后来被霍特林（Hotelling,1933）发展了。 主成分分析是一种通过降维技术把多个变量化为少数几个主成分（即综合变量）的统计分析方法。这些主成分能够反映原始变量的绝大部分信息，它们通常表示为原始变量的某种线性组合。 主成分分析的一般目的是： (1)变量的降维； (2)主成分的解释。 寻找主成分的正交旋转 旋转公式： 2 总体的主成分 一、主成分的定义及导出 二、主成分的性质 三、从相关阵出发求主成分 一、主成分的定义及导出 设 为一个p维随机向量，E(x)=μ， V(x)=Σ。考虑如下的线性变换 希望在约束条件 下寻求向量a1，使得 达到最大，y1就称为第一主成分。 设λ1≥λ2≥?≥λp≥0为Σ的特征值， ， i=1,2,?,p为相应的单位特征向量，且相互正交。则可求得第一主成分为 它的方差具有最大值λ1。 如果第一主成分所含信息不够多，还不足以代表原始的p个变量，则需考虑再使用一个综合变量 ，为使y2所含的信息与y1不重叠，应要求 Cov(y1,y2) =0 在此条件和约束条件 下寻求向量a2，使得 达到最大，所求的 称为第二主成分。求得的第二主成分为 其方差为λ2。 一般来说，x的第i主成分是指：在约束条件 和 Cov(yk,yi)=0, k=1,2,?,i?1下寻求ai，使得 达到最大。第i主成分为 主成分的几何意义 在几何上，ti表明了第i主成分的方向，yi是x在ti上的投影值（其绝对值即为投影长度），λi是这些值的方差，它反映了在ti上投影点的分散程度。 其中θi是ti与x的夹角。 主成分向量与原始向量之间的关系式 y1 y2 ? yp x1 t11 t12 ? t1p x2 t21 t22 ? t2p ? ? ? ? xp tp1 tp 2 ? tpp 主成分与原始变量之间的关系式矩阵 正交变换 的几何意义 正交变换 的几何意义是将Rp中由x1,x2, ?,xp构成的原p维坐标轴作一正交旋转，一组正交单位向量t1,t2, ?,tp表明了p个新坐标轴的方向，这些新坐标轴彼此仍保持正交（或说垂直）。 二、主成分的性质 1.主成分向量的协方差矩阵 2.主成分的总方差 3.原始变量xi与主成分yk之间的相关系数 4.m个主成分对原始变量的贡献率 5.原始变量对主成分的影响 1.主成分向量的协方差矩阵 V(y)=Λ 其中Λ=diag(λ1, λ2,?,λp)，即V(yi)= λi, i=1,2,?,p，且y1,y2, ?,yp互不相关。 2.主成分的总方差 由于 所以 或 总方差中属于第i主成分yi （或被yi所解释）的比例为 称为主成分yi的贡献率。 第一主成分y1的贡献率最大，表明它解释原始变量 x1,x2, ?,xp的能力最强，而y2,y3, ?,yp的解释能力依次递减。 主成分分析的目的就是为了减少变量的个数，因而一般是不会使用所有p个主成分的，忽略一些带有较小方差的主成分将不会给总方差带来大的影响。 前m个主成分的贡献率之和 称为主成分y1,y2, ?,ym的累计贡献率，