主成分分析华东理工版复习课程.pptVIP

主成分分析简介;什么是主成分分析？;什么是主成分分析？;什么是主成分分析？;为什么要根据方差确定主成分？;对主成分的要求;主成分分析的目的;三变量主成分分析示意图;对三维空间下的一组样本（设样本数为n）， 其原始变量的坐标系为x1,x2,x3，在对原始坐 标系经过坐标平移、尺度伸缩、旋转等变换 后, 得到一组新的、相互正交的坐标轴v1,v2 ， 可使原始变量在新坐标系上的投影值（分 别称为第一、第二主成分）的方差达到最 大。其中v1,v2称为第一、第二载荷轴。对于 m维空间，载荷轴的个数最多为m。 ; 主成分变换将三维空间的样本显示在二维空间;为什么要进行主成分分析？;为什么要进行主成分分析？;基本概念;基本概念;协方差矩阵; 主成分的求解步骤：  i）对原始数据矩阵进行标准化处理 相当于对原始变量进行坐标平移与尺度伸缩：; ii）求协方差矩阵Z iii）特征分解 相当于将原来的坐标轴进行旋转得到新的坐标 轴U： —Z的特征值组成的对角阵 U—Z的特征向量按列组成的正交阵，它构成 了新的矢量空间，作为新变量（主成分）的坐 标轴，又称为载荷轴。 ;-特征值表示新变量（主成分）方差的大小-得到的特征矢量的方差比前一个特征矢量的更小，也就是依次递减-特征矢量相互正交，即不相关; iv) 确定主成分个数 （1）根据累积贡献率 当 大于某个阈值时，可认为主成分数目为m。 （2）根据其它准则 * 特征值大于1.0的因子数定为主成分数。 * 利用特征值与因子数目的曲线，到某一因子数后，特征值减小幅度变化不大，此转折点的因子数即为主成分数m。 * 保留那些与一个以上变量有重大关系的因子。;;主成分分析原理;主成分的特点;主成分的特点;主成分的数学定义;PCA的优点 ★ 它能找到表现原始数据阵最重要的变量的组合 ★?通过表示最大的方差，能有效地直观反映样本之间的关系 ★?能从最大的几个主成分的得分来近似反映原始的数据阵的信息;PCA中的重要概念;例1：有3个变??X1, X2与X3(m=3)，其16次（n=16）观测值见下表： ; 相关矩阵为： 相关阵R的特征值分别为2.077,0.919,0.004， 这说明第三个主成分所起作用非 常小，可以只要两个主成分 。 课后练习：用MATLAB求本例中16个样本的 第一、第二主成分值及其对应的载荷向量。;例2：8个样品中苯和二甲苯的含量见下表： ;原始数据矩阵中含有8（n＝8）个样品、 两个变量， 其协方差矩阵为： ;;根据PC1求得的苯与二甲苯含量及残差;主成分得分的平方和、特征值与方差;对于维数较大的数据矩阵，采用Jacobi法 进行PCA运算时间很长。可采用奇异值分 解法（Single Value Decomposition－ SVD）。 该法运算速度快, 非常适合大型数据矩阵的 处理。;主成分分析的奇异值分解法;X=USVt U是一正交列矩阵，即UtU=In；US为得分 阵。 S是一由X矩阵的特征值组成的对角矩阵， 它与XTX矩阵的特征值矩阵成平方关系； Vt（特征向量阵）是一正交行矩阵，即 VtV=Ip。;思考题