第七章主成分分析-4版.pptVIP

第七章 主成分分析 PCA的基本思想 一般模型与算法 PCA的SPSS实现 PCA的应用 Origins of PCA Pearson (1901) 首先引入 Hotelling (1933) 发展成熟 What does PCA do? What About the New Data? PCA的实质——简化数据 用尽可能少的变量（主成分）反映原始数据中尽可能多的信息，以简化数据，突出主要矛盾。 反映原始数据特征的指标：方差-离散度 主成分：原始变量的最优加权线性组合 最优加权： 第一主成分：寻找原始数据的一个线性组合，使之具有最大方差（数据离散度最大的方向） 第二主成分：寻找原始数据的一个线性组合，使之具有次大方差，且与第一主成分无关 …… 二、PCA的模型与算法 设:x为标准化变量, 原始数据阵 特征根和特征向量的求法 Conceptual Model 主成分载荷阵 三、PCA的SPSS实现 SPSS过程： 1）analyze→data reduction →factor…(顺序点击菜单项，打开Factor对话框)。 2）在对话框中指定分析变量，如图1所示。 提取两个主成分 主成分分析例1 对55个国家径赛成绩作主成分分析 步骤： 第一次分析：计算特征根，确定提取主成分个数 提取主成分，计算主成分得分 运用主成分得分做样本分析 综合评价 异常点分析 应该保留几个主成分？ 特征根准则：特征根1 累计方差准则：如累计方差贡献率95% 保留2个特征根vs保留4个特征根 主成分的解释——分析载荷阵 利用两个主成分分析各国运动员情况 主成分提取方法 相关矩阵vs 方差-协方差矩阵 分析相关矩阵：针对标准化变量进行主成分分析。， 分析方差-协方差矩阵：针对非标准化变量进行主成分分析。 前例：相关阵与协差阵主成分比较 主成分分析案例：2003年广东省各地区电信业发展状况综合分析 调查对象的选取 广东省21个地级市2003年度电信业发展数据 七个主要指标 X1：电信业务总量（万元） X2：每百人拥有固定电话数（门） X3：每百人拥有移动电话数（个） X4：国际互联网用户（万户） X5：互联网用户使用时长（万分钟） X6：长途电话通话量（万次） X7：长途电话通话时长（万分钟） 四、PCA的应用 主成分回归：当回归分析的解释变量中存在多重共线或解释变量个数相对于样本数过多时 综合评价 降维或化简变量 分组 结构 筛选数据，找出特异点 1. Principal Components Regression Standard regression problem with response y and regressors X1, X2, …, Xp. X1, X2, …, Xp may be exactly collinear or nearly so. Least squares estimates of regression coefficients are not possible, or not reliable in that case. Can use Principal Components to address the problem. 特征根与多重共线诊断 例 医院生产率 因变量：manhrs 解释变量：load,xray,beddays,stay,elgpop 主成分回归（对协方差阵）： 首先找出解释变量的主成分，然后作因变量对主成分的回归。 （1）对协方差阵做主成分分析 保留几个主成分？ 计算主成分得分 （2）主成分回归：做manhrs对主成分z1、z2的回归 对相关阵提取主成分 Important Comparison Reflecting on PCR All about summarizing the variability in the regressor space No attention paid to the intended use for the variates Reflecting on OLS No attention paid summarizing the variability in the regressor space All about attention paid to the intended use for the variates (maximizing correlation) Upshot 2. Intelligent Index Formation 从调查或实验数据创建综合评价指标 May have answers to p questions, say X1, X2, …, Xp. And you may want to summarize