第7章__主成分分析祥解.ppt

由7.10式两边左乘T1得到 T1ΣT2- λ T1T2- ρ T1T1=0 由于T1ΣT2=0, T1T2=0 因而有 ρT1T1=0,即ρ=0 由(7.11)知道Y2的最大方差值为λ2 ，其相应的单位化特征向量为T2。 从而有 且有T2ΣT2=λ 如果X的协差阵∑的特征根 λ1≥λ2≥…≥λp ≥ 0， 求第k主成分即解如下有条件极值问题： max D(Yk)=TkΣTk s.t. TkTk=1 COV(Tk ,Ti)=TkΣTi=0,i=1,2,…,k-1 显然有 COV(Tk ,Ti) =TkΣTi =λTkTi=0 求第k主成分，引入Lagrange乘数构造目标函数为： 对目标函数 求导数有： 对目标函数 求导数有： 由7.13式两边左乘Ti得到 由于TiΣTk=0, TiTk=0 因而有 ρiTiTi=0,即ρi=0 由(7.14)知道Yk的最大方差值为λk ，其相应的单位化特征向量为Tk。 从而有 且有TkΣTk=λ 如果X的协差阵∑的特征根 λ1≥λ2≥…≥λp ≥ 0， 三 主成分的性质 一 主成分的一般性质 二 主成分的方差贡献率 设Y =(Y1,…,Yp)是X的主成分,由Σ=(σij)的特征根构成的对角阵为 Λ=diag(λ1,λ2,…,λp) (6.17) 其中λ1≥λ2≥…≥λp, T1,T2,…,Tp是相应的单位正交特征向量. 主成分可表示为 Yi=TiX (i=1,2,…,p) (6.18) 总体主成分有如下性质: 一、主成分的一般性质 性质1 主成分的协方差矩阵是对角阵。 证明：实际上，由（6.3）式知 性质2 主成分的总方差等于原始变量的总方差。 证明：由矩阵“迹”的性质知 所以 或 性质3 主成分Yk与原始变量Xi的相关系数为 并称之为因子负荷量（或因子载荷量）。 证明：事实上 其中ei=(0,…,0,1,0,…,0)，它是除第i个元素为1外其他元素均为0的单位向量。而 二、主成分的方差贡献率 由主成分的性质2可以看出，主成分分析把p个原始变量X1,X2,…,Xp的总方差tr(∑)分解成了p个相互独立的变量Y1,Y2,…,Yp的方差之和 主成分分析的目的是减少变量的个数，所以一般不会使用所有p个主成分的，忽略一些带有较小方差的主成分将不会给总方差带来太大的影响。这里我们称 为第k个主成分Yk的贡献率。 第一主成分的贡献率最大，这表明Y1=T1‘X综合原始变量X1,X2,…,Xp的能力最强，而Y2,…,Yp的综合能力依次递减。若只取个m(p)主成分，则称 为主成分Y1,…,Ym的累计贡献率，累计贡献率表明Y1,…,Ym综合X1,X2,…,Xp的能力。通常取m，使得累计贡献率达到一个较高的百分数（如85％以上）。 例7.1 设 X=(X1,X2, X3)T的协方差矩阵为 求X的各主成分及贡献率 解：协方差矩阵的特征值及相应的正交单位化 特征向量分别为 X的三个主成分为 第1主成分的贡献率为 贡献率 Y1=e1TX=-0.383X1+0.924X2; Y2=e2TX=X3; Y3=e3TX=0.924X1+0.383X2; 前两个主成分的累计贡献率为 若用前两个主成分取代原来三个变量，其信 息损失仅为2%，是很小的. 四 主成分方法应用中应注意的问题 一 实际应用中主成分分析的出发点 二 如何利用主成分分析进行综合评价 一、实际应用中主成分分析的出发点 我们前面讨论的主成分计算是从协方差矩阵∑出发的，其结果受变量单位的影响。 不同的变量往往有不同的单位，对同一变量单位的改变会产生不同的主成分，主成分倾向于多归纳方差大的变量的信息，对于方差小的变量就可能体现得不够，也存在“大数吃小数”的问题。 为使主成分分析能够均等地对待每一个原始变量，消除由于单位的不同可能带来的影响，我们常常将各原始变量作标准化处理，即令 标准化方法 对于X=(X1,X2,…, Xp),设 则标准化变量为 则对所有的k有Var(Xk*)=1,方差没有差异！令 则其协方差矩阵为 为X的相关系数阵 即求X的相关系数矩阵ρ