主成分分析-李平.ppt

谢谢 主成分分析 李平 目 录 主成分分析的方法 主成分分析的步骤 主成分分析的计算及实例 分析全国18个特大城市2014年经济实力情况 经济指标：国内生产总值； 固定资产投资； 货运总量； 社会消费品零售额； 外贸出口额； 拥有电话机数； 拥有汽车辆数 。。。 ？ 多个指标的问题 1、指标与指标之间可能存在相关关系，如信息重叠，分析错误等。 2、指标太多，增加问题的复杂性和分析难度。 如何避免呢？？？？ ---主成分分析 主成分分析的方法 主成分分析（PCA）方法,是一种考察多个数值变量间相关性的多元统计方法.PCA研究如何通过少数几个主成分来解释多变量的方差—协方差结构.具体说是导出少数几个主成分,它们尽可能多地保留了原始变量的信息,且彼此间又不相关.主成分分析的实质是将高维数据降为低维数据,使人们能够更直观地看到数据的结构,因而可以用于模式识别、数据的特征提取及数据压缩等领域. 主成分与原始变量之间的关系 1、主成分保留了原始变量绝大多数信息。 2、主成分个数大大少于原始变量的数目。 3、各个主成分之间互不相关。 4、每个主成分都是原始变量的线性组合。 主成分分析，用Matlab和SAS、SPSS分析结果不一样，后二者一样。但三者的特征值一样，特征向量正负不一 主成份分析本质上是一种降维技术，要将多个变量通过旋转在少数维度（最好是2个）上表示出来，并据此分类。但是旋转的方法不同，投射出来的结果也是不一样的，因此你会看到特征向量数值绝对值相同，但符号相反。就好比一种旋转方法将点投影到了X轴之上，而另一种方法恰好投影到了X轴之下。在使用时你只要能确定变量和主成份之间的关系就可以了，解释时用最方便解释得结果。 通常取2~3个主成分已经足够能够包含或代表原有数据的全部信息了.将原始数据矩阵中的二行信息数值代人上述各主成分的线性组合公式,孰可以得到各行信息的主成分分值(csore).将每行个体的前2~3个主成分分值在二维或三维空间中点成散点图,这就是主成分散点图.从散点图可以很清楚地看出每行信息的地位和各条信息之间的关系一般地,由于原始数据是高维的,从数据集中无法得出这种直观的表示,而采用主成分分析就可以较直观地观察到. 计算思路 1、要寻找方差最大的方向，即使得相量X的线性组合aX的方差最大的方向b 2、而Var（aX）=aCov（X）b；由于Cov（X）未知，于是用X的样本相关矩阵R来近似。因此，要寻找向量b使得aRb最大（相关阵和协方差阵差一个常数） 主成分分析的步骤 一、对原始数据进行标准化 标准化的目的是：使得平均值为0，标准差为1，这样可以使不同量纲的数据放在一个矩阵 z-score 标准化  或用Min-max 标准化，暂时不考虑 二、计算相关系数矩阵 三、计算特征值与特征向量 四、计算贡献率和累计贡献率 五、各主成分的得分  主成分分析的计算及实例 原始数据 1、原始数据标准化处理 X= 标准化后数据 2、求标准化数据的相关矩阵 相关系数矩阵表 应用Ｍatlab软件对相关系数矩阵进行计算,可求得 特征值及特征向量,贡献率及累计贡献率，如下表 一般取累计贡献率达80%～95%以上的作为主成分。 从上表中可以看出第一,第二的累计贡献率已高达82.51% 以上,可认为前2个主成分已基本反映了原变量的主要信息。以前2个主成分的贡献率为权重,构造综合评价函数: Ｆ=48.93Ｆ1+33.58Ｆ2 由每个地区7个指标的标准化值可算出前2个主成分 得分和综合得分Ｆ,具体水质综合评判结果及排序见表