多元统计方法之一.ppt

* 多元统计方法之一 主讲：何仁斌 主成分分析 思想：利用降维的思想，把多指标转化为少数几个综合指标。 在研究多变量问题时，变量太多会增大计算量和增加分析问题的复杂性，人们自然希望在进行定量分析的过程中涉及的变量较少，而得到的信息量又较多。主成分分析是解决这一问题的理想工具。（主要分析众多变量之间的相关性） 例如：在学生学习过程中，已经修完p门课程，其成绩为x1,x2,…,xp，如何评价每个学生的综合能力？假设每门课程有权重c1,c2,…,cp，则加权之和为：s= c1x1+c2x2+…+cpxp 每个学生对应这样一个成绩，假设有n个学生，其成绩分别为：s1,s2,…,sn。如果这些值很分散，表明每个人的综合能力能很好地区分。关键是如何确定权重c1,c2,…,cp，在数学上反映的问题是什么呢？ 主成分的几何意义 x1 x2 x1 x2 y1 y2 变换的目的是为了使得n个样本点在y1轴方向上的离散程度最大，既y1的方差达最大。说明变量y1代表了原始数据的绝大部分信息，对y2忽略也无损大局，即由两个指标压缩成一个指标。 一、数据结构 适合用主成分分析的数据具有如下结构： 主成分分析最大的问题是受量纲的影响，因此，实际应用中，需要对数据进行标准化。一般使用协方差矩阵∑或相关系数矩阵R进行分析。 样本 指 标 二、主成分的基本思想 设X1,…,XP表示以x1,…,xp为样本观测值的随机变量，如果能找到c1,…,cp，使得 但上述公式必须加上某种限制，否则权值可选择无穷大而没有意义，通常规定 由于解c1,…,cp是p维空间的一个单位向量，它代表一个“方向”，称为主成分方向。 二、主成分的基本思想 由于一个主成分不足以代表原来的p个变量的信息。因此需要寻找第二个乃至第三、四个主成分，原则上，第二个主成分不应该再包含第一个主成分的信息，统计上的描述就是让这两个主成分的协方差为零，几何上就是这两个主成分的方向正交。具体确定各个主成分的方法如下： 设Zi表示第i个主成分，可设 二、主成分的基本思想 确定(c11,…,c1p), 使得maxD(Z1)，并且满足 确定(c21,…,c2p), 使得maxD(Z2)，并且满足(c21,…,c2p)与(c11,…,c1p)垂直，和 确定(c31,…,c3p), 使得maxD(Z3)，并且满足(c31,…,c3p)与(c11,…,c1p)， (c21,…,c2p)垂直，和 …… 如何确定主成分的个数？ 二、主成分的基本思想 在实际研究中，由于主成分的目的是为了降维，减少变量的个数，故一般选取少量的主成分（不超过5或6个），只要它们能包含原变量信息量的80％以上即可。 三、主成分分析的具体实现 设相关矩阵为Rp×p，求特征方程| R－λI | = 0，其解为特征根λi 将解由小到大进行排序为： 1） (ci1,…,cip)实际上是对应于λi的特征向量。若原变量服从正态分布，则各主成分之间相互独立； 2）全部p个主成分所反映的n例样本的总信息，等于p个原变量的总信息。信息量的多少，用变量的方差来度量。 3）各主成分的作用大小是：Z1≥Z2≥…≥Zp； 4）第i个主成分的贡献率是 5）前m个主成分的累计贡献率是 ： 在应用时，一般取累计贡献率为80%以上比较好。 四、MATLAB软件实现 [pc, score, variance, t2]=princomp(X) 输入数据矩阵： x1 x2 xp 一般地，要求n p。模型： 要求 m p 。 zm 输出变量： ① pc 主分量zi的系数(ci1,…,cip) ，也叫因子系数；注意：pcTpc=单位阵 ② score是主分量下的得分值；得分矩阵与数据矩阵X的阶数是一致的； ③ variance是score对应列的方差向量，即相关系数矩阵R的特征值；容易计算方差所占的百分比 percent-v = 100*variance/sum(variance); ④ t2表示检验的t2-统计量（主要用于方差分析） 例1： 某医学院测得20例肝病患者的4项肝功能指标：SGPT（转氨酶）X1 肝大指数X2 ZnT（硫酸锌浊度）X3 AFP（胎甲球）X4 其数据如下表ex1.xls。 OBS X1 X2 X3 X4 40 2.0 5 20 10 1.5 5