第4章 主成份分析与典型相关分析.docVIP

第4章 主成份分析与典型相关分析 第 PAGE 27 页 共 NUMPAGES 26 页 第4章 主成份分析与典型相关分析 通过变换:用低维(主成份)近似高维(较全面)信息 §4.1 主成份分析 1. 二维的例子 设, , 观测数据, 若的相关系数, 则在直线上. 作 则在轴上, 分散性(样本方差)最大, 即选择使 的最大, 基本上反映了二维信息. 完整的 , 分别称为第一主成份和第二主成份. 2. 总体主成份(主成份至多个) (1) 定义 设, 协方差为 1) 作 使 达到最大, 且 (否则可无界), 由此得第一主成份. 2) 作 使 达到最大, 且 及与前向量垂直条件: , 由此得第二主成份. 3) 一般若还不够, 则继续作 在及 下, 使达到最大, 第主成份. (2) 总体主成份的求法 设的特征值为, 正交化单位特征向量为, 则第个主成份表为 及 (证) 令, 则 对,, 有 只有当(标准单位向量)时, 最大, 即取. 对, , 且有 其中, 因为, 即 只有, 即时, 最大. 类似可得其余, 主成份的表达式. 各主成份的方差等于相应的特征值. (3) 总体主成份的性质 1) 主成份的协方差矩阵及总方差 记 , 则的协方差阵 总方差为 主成份分析: 把总方差分解为不相关变量的方差和. 2) 主成份的贡献率与累计贡献率 第个主成份的贡献率: 由此可知, 第1个主成份贡献率最大, 依次而弱. 的累计贡献率: . 实用中, 要求累计达到80%~90%的前个主成份. 例4.1 设的协方差为 求各主成份. 解: , 代入即可. 第一主成份的贡献率: ; 前两个主成份的累计贡献率: 足矣. (4) 标准化变量的主成份 原始量纲不一, 大方差不一定是主要的, 有时不当. 1) 先标准化 其中 , 令 则 =的相关系数阵 2) 对作主成份分析 即求的特征值和相应的正交单位化特征向量 标准化后的主成份 且有 , 第个主成份的贡献率: 的累计贡献率: . 例4.2 设的协方差和相关系数阵分别为 和 分别进行主成份分析. 解: 1) 对, 有 , , 代入, 得之一: 第一主成份贡献率: , 且其中占了绝大部分. 2) 对, 有 , 代入, 得其一 , 易见占了主要比例. 第一主成份的贡献率: . 实用中, 多应从相关系数矩阵出发. 3. 样本主成分 设样本观测值为 实际问题 , 其中 用来代和. 关于样本, 有如下结论: 设, 其特征值, 相应的单位正交化特征向量, 第个样本主成份表为 依次代入观测值, 得 称为第个样本主成份的得分. 第个主成份的贡献率: 前个样本主成份的累计贡献率: . 类似在讨论标准化后样本 样本总方差为等等. 一般取足够的贡献率80%~90%的. 例4.3 对10名男中学生的身高(),胸围()和体重()进行主成份分析. 解 调用SAS proc corr过程, 得 各方差相差不大, 故对进行主成份分析, 得 若取前2个, 则贡献率已达98.86%, 故取 大小因子: 形状因子: 例4.4 对十家上市公司的获利能力和经营发展能力, 选取如下6个指标进行分析 下表为前3年关于6个指标的加权平均, 对其做主成分分析, 并按第一主成份得分对这些公司排序. 解: 调用SAS proc corr过程, 求得 可见样本方差很大, 因此从样本相关系数阵分析. 由SAS proc princomp过程求得相关系数阵: 和 取前2个主成份: 获利和发展的综合力;获利与发展能力之差值