主成分分析、因子分析、聚类分析比较与应用.pdf

2007 年第 6 期 　　　　　　　　　　　山 东 教 育 学 院 学 报 　　　　　　　　　　　　　总第 124 期 主成分分析 、因子分析 、 聚类分析的比较与应用 李新蕊 (济南大学 政治与公共管理学院 , 　山东 　济南 　250022) 　　摘要 :主成分分析 、因子分析 、聚类分析是三种比较有价值的多元统计方法 ,但同时也是在使用过程中容易误 用或混淆的几种方法 。本文从基本思想 、数据的标准化 、应用上的优缺点等方面 ,详细地探讨了三者的异同 ,并且 举例说明了三者在实际问题中的应用 。 关键词 :主成分分析 ; 因子分析 ;聚类分析 ( ) 中图分类号 : G441 　　　文献标识码 :A 　　　文章编号 :1008 —2816 2007 06 —0023 —04 ( ) ( ) 　　一 、引言 个变量 因子 来综合反映原始变量 因子 的主要 主成分分析就是将多项指标转化为少数几项 信息 ,变量虽然较原始变量少 ,但所包含的信息量 综合指标 ,用综合指标来解释多变量的方差 - 协 却占原始信息的 85 % 以上 ,所以即使用少数的几 方差结构 。综合指标即为主成分 。所得出的少数 个新变量 , 可信度也很高 , 也可 以有效地解释 问 几个主成分 ,要尽可能多地保留原始变量的信息 , 题 。并且新的变量彼此间互不相关 , 消除了多重 且彼此不相关 。因子分析是研究如何以最少的信 共线性 。这两种分析法得出的新变量 , 并不是原 息丢失 ,将众多原始变量浓缩成少数几个因子变 始变量筛选后剩余的变量 。在主成分分析中 ,最 量 , 以及如何使因子变量具有较强的可解释性的 终确定的新变量是原始变量的线性组合 ,如原始 一种多元统计分析方法 。聚类分析是依据实验数 变量为 x ,x ,. . . ,x , 经过坐标变换 ,将原有的 p 1 2 3 据本身所具有的定性或定量的特征来对大量的数 个相关变量 xi 作线性变换 ,每个主成分都是由原 据进行分组归类以了解数据集的内在结构 ,并且 有p 个变量线性组合得到 。在诸多主成分 Z 中 , i 对每一个数据集进行描述的过程 。其主要依据是 Z 在方差中占的比重最大 ,说明它综合原有变量 1 聚到同一个数据集中的样本应该彼此相似 ,而属 的能力最强 ,越往后主成分在方差中的比重也小 , 于不同组的样本应该足够不相似[1 ] (34) 。 综合原信息的能力越弱 。因子分析是要利用少数 三种分析方法既有区别也有联系 ,本文力图 几个公共因子去解释较多个要观测变量中存在的 将三者的异同进行比较 ,并举例说明三者在实际