主成分分析法-Read.DOC

主成分分析法 一、主成分分析（principal components analysis）也称为主分量分析，是由Holtelling于1933年首先提出的。主成分分析是利用降维的思想，把多指标转化为少数几个综合指标的多元统计分析方法。X1，X2，…，Xp，它们都是相关的, 一时难以综合。这时就需要借助主成分分析 (principal component analysis)来概括诸多信息的主要方面。我们希望有一个或几个较好的综合指标来概括信息，而且希望综合指标互相独立地各代表某一方面的性质。 任何一个度量指标的好坏除了可靠、真实之外，还必须能充分反映个体间的变异。如果有一项指标，不同个体的取值都大同小异，那么该指标不能用来区分不同的个体。由这一点来看，一项指标在个体间的变异越大越好。因此我们把“变异大”作为“好”的标准来寻求综合指标。 例1、考察对象股票业绩（这里单个股票为观察个体）。 （1）确定影响股票业绩主要因素：主营业务收入（X1），主营业务利润（X2）利润总额（X3），净利润（X4），总资产（X5），净资产（X6），净资产收益率（X7），每股权益（X8），每股收益（X9），每股公积金（X10），速动比率（X11）作为变量。得到了20×1的原始数据阵X20×11（略）。 1、主成分的一般定义 设有随机变量X1，X2，…，Xp， 其样本均数记为，，…，，样本标准差记为S1，S2，…，Sp。首先作标准化变换 我们有如下的定义： (1) 若Y1=a11x1+a12x2+ … +a1pxp，，且使 Var(Y1)最大，则称Y1为第一主成分； (2) 若Y2=a21x1+a22x2+…+a2pxp，，(a21，a22，…，a2p)垂直于(a11，a12，…，a1p)，且使Var(Y2)最大，则称Y2为第二主成分； (3) 类似地，可有第三、四、五…主成分，至多有p个。 2、主成分的性质 ：Y1，Y2，…，Yp具有如下几个性质 (1) 主成分间互不相关，即对任意i和j，Yi 和Yj的相关系数 Corr(Yi，Yj)=0 i ( j (2) 组合系数(ai1，ai2，…，aip)构成的向量为单位向量， (3) 各主成分的方差是依次递减的， 即 Var(Y1)≥Var(Y2)≥…≥Var(Yp) (4) 总方差不增不减， 即 Var(Y1)+Var(Y2)+ … +Var(Yp) =Var(x1)+Var(x2)+ … +Var(xp) 这一性质说明：主成分是原变量的线性组合，是对原变量信息的一种改组，主成分不增加总信息量，也不减少总信息量。 (5) 主成分和原变量的相关系数 Corr(Yi，xj)=aij=aij (6) 令X1，X2，…，Xp的相关矩阵为R, (ai1，ai2，…，aip)则是相关矩阵R的第i个特征向量(eigenvector)。而且，特征值(i就是第i主成分的方差， 即 Var(Yi)= (i 其中(i为相关矩阵R的第i个特征值(eigenvalue) (1≥(2≥…≥(p≥0 3、主成分的数目的选取 前已指出，设有p个随机变量，便有p个主成分。由于总方差不增不减，Y1，Y2等前几个综合变量的方差较大,而Yp，Yp-1等后几个综合变量的方差较小, 严格说来，只有前几个综合变量才称得上主(要)成份，后几个综合变量实为“次”(要)成份。实践中总是保留前几个，忽略后几个。 保留多少个主成分取决于保留部分的累积方差在方差总和中所占百分比(即累计贡献率)，它标志着前几个主成分概括信息之多寡。实践中，粗略规定一个百分比（一般为80%）便可决定保留几个主成分；如果多留一个主成分，累积方差增加无几，便不再多留。 四、主成分分析的一般步骤 1、设观察个体的变量指标为x1，x2，…，x，它们的综合指标——z1，z2，…，zm（m≤），则 z1，z2，…，zm分别称为原变量指标x1，x2，…，x的第一，第二，…，第m主成分 观察个体 x1 x2 Xp 个体1 个体2 个体n 设有随机变量x1，x2，…，xp， 其样本均数记为，，…，，样本标准差记为S1，S2，…，Sp。首先作标准化变换 3、计算相关系数矩阵(按从大到小排列)及其对应的特征向量 Matlab命令： (1)R= corrcoef(X) (2)[b,c]=eigs(R) 4．计算主