1第一篇 主成分分析.ppt

zf zf zf 第一章 主成分分析 主成分分析的重点 1、掌握什么是主成分分析; 2、理解主成分分析的基本思想; 3、理解主成分求解方法：协方差矩阵与相 关系数矩阵的差异; 4、掌握运用数学软件求解主成分; 5、对软件输出结果进行正确分析. 一、主成分分析的基本思想 主成分分析：将原来较多的指标简化为少数几个新的综合指标的多元统计方法。 主成分：由原始指标综合形成的几个新指标。依据主成分所含信息量的大小成为第一主成分，第二主成分等等。 主成分分析得到的主成分与原始变量之间的关系： 1、主成分保留了原始变量绝大多数信息。 2、主成分的个数大大少于原始变量的数目。 3、各个主成分之间互不相关。 4、每个主成分都是原始变量的线性组合。 主成分分析的运用： 1、对一组内部相关的变量作简化的描述 2、用来削减回归分析或群集分析(Cluster)中变量的数目 3、用来检查异常点 4、用来作多重共线性鉴定 5、用来做原来数据的常态检定 二、数学模型 假设我们所讨论的实际问题中，有p个指标，我们把这p个指标看作p个随机变量，记为X1，X2,…,Xp，主成分分析就是要把这p个指标的问题，转变为讨论p个指标的线性组合的问题，而这些新的指标F1,F2,…,Fk(k≤p），按照保留主要信息量的原则充分反映原指标的信息，并且相互独立。 这种由讨论多个指标降为少数几个综合指标的过程在数学上就叫做降维。主成分分析通常的做法是，寻求原指标的线性组合Fi。 满足如下的条件： 1、每个主成分的系数平方和为1。即 2、主成分之间相互独立，即无重叠的信息。即 3、主成分的方差依次递减，重要性依次递减，即 F1,F2,…,Fp分别称为原变量的第一、第二、…、第p个主成分。 了解了主成分分析的基本思想、数学模型后，问题的关键： 1、如何进行主成分分析？（主成分分析的方法） 基于相关系数矩阵还是基于协方差矩阵做主成分分析。当分析中所选择的经济变量具有不同的量纲，变量水平差异很大，应该选择基于相关系数矩阵的主成分分析。 2、如何确定主成分个数？ 主成分分析的目的是简化变量，一般情况下主成分的个数应该小于原始变量的个数。关于保留几个主成分，应该权衡主成分个数和保留的信息。 3、如何解释主成分所包含的经济意义？ 四、总体主成分的求解及其性质 矩阵知识回顾： （1）特征根与特征向量 A、若对任意的k阶方阵C，有数字 与向量 满足： ，则称 为C的特征根， 为C的相应于 的特征向量。 B、同时，方阵C的特征根 是k阶方程 的根。 （2）任一k阶方阵C的特征根 的性质： （3）任一k阶的实对称矩阵C的性质： A、实对称矩阵C的非零特征根的数目＝C的秩 B、k阶的实对称矩阵存在k个实特征根 C、实对称矩阵的不同特征根的特征向量是正交的 D、若 是实对称矩阵C的单位特征向量，则 若矩阵 ，是由特征向量 所构成的，则有： 主成分分析的目标： 1、从相关的X1, X2,…,Xk ,求出相互独立的新综合变量（主成分）Y1,Y2 ,…,Yk。 2、Y＝（Y1,Y2,…,Yk）’所反映信息的含量无遗漏或损失的指标—方差,等于X＝（X1,X2,…,Xk）’的方差 。 X与Y之间的计算关系是： 如何求解主成分？ 一、从协方差矩阵出发求解主成分 （一）第一主成分： 设X的协方差阵为 由于Σx为非负定的对称阵，则有利用线性代数的知识可得，必存在正交阵U，使得 其中?1 ， ?2 , …，?p为ΣX的特征根，不妨假设?1? ?2 ? … ??p 。而U恰好是由特征根相对应的特征向量所组成的正交阵。 下面我们来看，是否由U的第一列元素所构成为原始变量的线性组合是否有最大的方差。 证明：设有P维正交向量 当且仅当a1 =u1时，即 时，有最大的方差?1。因为Var(F1)=U’1?xU1=?1。 如果第一主成分的信息不够，则需要寻找第二主成分。 （二） 第二主成分 在约束条件 下，寻找第二主成分 因为 所以 则，对p维向量 ，有 所以如果取线性变换： 则 的方差次大。 类推 写为矩阵形式： 例１：设　　　　　　　　的协方差矩阵为： 从协方差矩阵出发，求解主成分． （１）求协方差矩阵的特征根 依据　　　　　　求解． （２）求特征根对应的特征向量 （３）主成分： （４）各主成分的贡献率及累计贡献率： 第一主成分贡献率： 第二主成分贡献率