18主成分分析.ppt

主成分分析 广东药学院卫生统计学教研室 内容提要 主成分分析的基本思想 主成分的计算和解释 主成分的应用 利用主成分进行综合评价 利用主成分进行回归分析、判别分析和聚类分析 为什么要用主成分分析 变量太多 降维简化 如心理学研究中，描述儿童气质的指标有9个；描述儿童性格的指标有12个；描述儿童活动能力的指标有6个；描述儿童精细活动能力的指标有11个，等等。 变量间相关 变量间独立 如描述儿童生长发育的指标中，身高、腿长和臂长；肩宽、胸宽和臀股宽；胸围、大腿围和臂围，等等。 主成分分析的基本思想 寻找新变量（主成分） 比原始变量个数少 变量间独立 尽可能保留原始变量的信息 主成分分析的基本思想 主成分分析的基本思想 假设有m个原始变量，寻找一系列新变量 将原始变量标准化 主成分分析的基本思想 寻找新变量C1，要求： 新变量是原始变量的线性组合, 且 新变量的方差Var(C1)最大。 主成分分析的基本思想 寻找新变量C2，要求： 新变量是原始变量的线性组合, 且 新变量C2与C1无关， Corr（C1,C2）=0 新变量的方差Var(C2)次大。 主成分分析的基本思想 寻找新变量C3，要求： 最多可有m个新变量 主成分的基本思想 定义C1为第一主成分； 定义C2为第二主成分； 依次类推。 主成分的性质 主成分间互不相关，即 Corr(Ci,Cj)=0 组合系数 构成的向量为单位向量，即 各主成分的方差依次递减，即 Var(C1)≥Var(C2)≥…≥Var(Cm) 总方差不变，即 Var(C1)+Var(C2)+…+Var(Cm)=m 主成分的计算和解释 计算原始变量的相关矩阵 主成分的计算和解释 求相关系数矩阵的特征根和特征根所对应的特征向量 主成分的计算和解释 将m个特征根排序， ?i即为第i个主成分的方差，即 Var(Ci)=?i ?i所对应的特征向量即为第i主成分的组合系数 相关系数矩阵 Correlation Matrix x1 x2 x3 x4 x5 x6 x1 1.0000 0.9557 0.8539 0.4140 0.1815 0.1004 x2 0.9557 1.0000 0.8073 0.4041 0.2471 0.2362 x3 0.8539 0.8073 1.0000 0.5326 0.2416 0.0581 x4 0.4140 0.4041 0.5326 1.0000 -.0541 0.3302 x5 0.1815 0.2471 0.2416 -.0541 1.0000 0.4358 x6 0.1004 0.2362 0.0581 0.3302 0.4358 1.0000 特征根 Eigenvalues of the Correlation Matrix Eigenvalue Difference Proportion Cumulative 1 3 1 0.5288 0.5288 2 1 0 0.2195 0.7483 3 0 0 0.1561