主成分分析-课件复习课程.pptVIP

罗树生;;;;;;; 根据旋转变换的公式：; 旋转变换的目的是为了使得n个样品点在Cl轴方向上的离 散程度最大，即Cl的方差最大。变量Cl代表了原始数据的绝大 部分信息，在研究某问题时，即使不考虑变量C2也无损大局。经过上述旋转变换原始数据的大部分信息集中到Cl轴上，对数据中包含的信息起到了浓缩作用。; Cl，C2除了可以对包含在Xl，X2中的信息起着浓缩作用之外，还具有不相关的性质，这就使得在研究复杂的问题时避免了信息重叠所带来的虚假性。二维平面上的个点的方差大部分都归结在Cl轴上，而C2轴上的方差很小。Cl和C2称为原始变量x1和x2的综合变量。C简化了系统结构。 ;主成分分析的数学模型;;;(全)主成分模型;主成分的性质 ： 主成分C1，C2，…，Cp具有如下几个性质： (1) 主成分间互不相关，即对任意i和j，Ci 和Cj的相关系数Corr(Ci，Cj)=0 i ? j (2) 组合系数(wi1，wi2，…，wip)构成的向量为单位向量， wi12+wi22+ … +wip2=1 (3) 各主成分的方差是依次递减的， 即 Var(C1)≥Var(C2)≥…≥Var(Cp) ;(4) 总方差不增不减， 即 Var(C1)+Var(C2)+ … +Var(Cp) =Var(x1)+Var(x2)+ … +Var(xp) =p 这一性质说明，主成分是原变量的线性组合，是对原变量信息的一种重组，主成分不增加总信息量，也不减少总信息量。 (5) 主成分和原变量的相关系数 Corr(Ci，xj)=wij;(6) 令X1，X2，…，Xp的相关矩阵为R, (wi1，wi2，…，wip)则是相关矩阵R的第i个特征向量(eigenvector)。而且，特征值?i就是第i主成分的方差， 即 Var(Ci)= ?i 其中?i为相关矩阵R的第i个特征值(eigenvalue) ?1≥?2≥…≥?p≥0 （7）第i个主成分对所有原变量的贡献为：;求主成分的步骤;2.解特征方程|R-λI |=0，求出相关阵R的特征根（eigenvalue）λi，且按从大到小顺序排列： λ 1≥ λ2≥ …≥ λp ， 3.求矩阵R关于λi的满足正规条件的特征向量（eigenvector): Li=（li1, li2,…,lip） 特征向量即为主成分系数。 当变量较多时，特征根的计算较复杂，需借助计算机软件实现。;一个简单例子;1.求相关系数矩阵R r11=r22=1, r12=r21=0.9547;3.求特征向量Li λ1=1.9547所对应的特征向量用下式解： l11+0.9547l12=1.9547l11 0.9547l11+l12=1.9547l12 l112+l122=1 得l11=0.7071, l12=0.7071, 第一主成分为： C1=0.7071X 1+0.7071X2 同样的方法，用λ2=0.0453可计算出第二主成分，此处略。; 主成分的数目的选取 如前所述，p个随机变量，便有p个主成分。由于总方差不增不减，C1，C2等前几个综合变量的方差较大,而Cp，Cp-1等后几个综合变量的方差较小。 一般来说，只有前几个综合变量才称得上主(要)成份，后几个综合变量实为“次”(要)成份。实践中总是保留前几个，忽略后几个。 ;保留多少个主成分主要考虑保留部分的累积方差在方差总和中所占百分比(即累积贡献率)，它标志着前几个主成分概括信息之多寡。实践中，一般推荐达到80%的累积方差即可。常用的判断方法有： 1. 特征值准则：取特征值1的主成分。是SPSS软件默认的方法。 2. 累积方差比例原则：一般推荐累积方差比例达到80％以上时，即可停止选择主成分。 3. 利用碎石图：将主成分按特征根从大到小排列，画出特征根随主成分个数变化的散点图，根据图的形状来判断保留主成分的个数。曲线开始变平的前一个点（拐点）认为是提取的最大主成分数。也就是根据特征根的变化速率来确定。 ;;特征值、方差比例和累积贡献率;主成分Ci表达式： SPSS软件不能直接给出主成分系数wij，经过FACTOR 过程产生的是因子负荷系数，但主成分分析模型需要的不是因子载荷量而是特征向量，所以还需将因子负荷系数输入数据编辑窗口，利用 “主成分相应特征根的平方根与特征向量乘积为因子负荷系数”的性质用TRANSFORM——COMPUTE 来计算特征向量，得到主成分的线性表达式。;因子负荷