主成分分析的数学模型.docVIP

主成分分析的数学模型

假设原来的变量指标为X1，X2…，Xk经过标准化后得到标准指标变量X

Xj=Xj-X

其中Xj是第j个指标变量的均值，sj是第j个指标变量的标准差。他们的综合指标（新变量指标）为z1，z2，…，zm（

将k个标准变量X1，X2，…，XK转换成了k个新变量z

●zi和zj独立，i≠j，i，j=1，2，…，

●vaX(z1)≥vaX(z2)≥…≥vaX(z

●li12+li22+…+l

z1，z2，…，zm是X1，X2，…，XK的k个主成分，其中z1为第一主成分，z2为第二主成分，zk为第k

主成分分析的方法步骤

主成分分析的过程就是确定原来的变量Xj（j=1，2，…，k）在个主成分zj（j=1，2，…，k）上的载荷lij（i，j=1，

从主成分分析的数学模型可以看出，主成分分析的任务是估计主成分，确定主成分的个数，解释主成分的实际意义和计算主成分得分。

假设有k个指标X1，X2…，Xk，每个指标有n个观测值，它们的标准化变量是X

样品号

观测指标

X

X

…

X

1

X

X

…

X

2

X

X

…

X

…

…

…

…

…

N

X

X

…

X

计算步骤如下：

对原始指标数据进行标准化变换：

Xij=Xij-Xjs

将原始数据标准化，然后利用标准化的数据计算主成分，X为标准化后的数据矩阵，则：

X=X

计算相关系数矩阵：

R=Cov（X）=r11r12

其中，

rij

计算相关矩阵的特征值和特征值所对应的特征向量：

Cov（X）L=LVar（

L=l

由于R为半正定矩阵，故可由R的特征方程

R-λI

求得k个非负特征值λi（i=1，2，…，k

λ1≥λ2≥…≥

再由R-λ1I

解得每一个特征值对应的特征向量li=(

Zi=liX=li1X

计算主成分贡献率及累计贡献率

各个主成分互不相关，即zi和z

rzi,zj

于是各相关系数的矩阵为单位矩阵。

一般来说，主成分Zi

λii=1kλi=

而累计贡献率的计算方法为：

i=1p

确定主成分的个数

当得到k个主成分后，要根据确定主成分的准则和主成分的实际意义来确定主成分的个数，一般来说，确定主成分的准则有两个：=1\*GB3①以累计贡献率来确定：当前p个主成分的累计贡献率达到某一特征值时（一般采用70%~85%为准则），则保留前p个主成分。=2\*GB3②根据特征值的大小来确定，一般来说，取特征值大于或等于1为准则。若有s个特征值大于或等于1，那么久可以确定主成分个数为s个。一般可以将两种主成分个数的确定方法结合起来，选出有实际意义的主成分。

计算主成分的载荷

第i个主成分Zi的特征值的平方根λi与原始指标Xj

qij=

为因子的载荷。由因子载荷构成的矩阵称为因子载荷矩阵。实际上，因子载荷qij是第i个主成分Zi与第j原始指标Xj之间的相关系数，它反映了主成分Zi

计算主成分得分

如果标准化变量X1，X2，…，

Zi=liX=li1X

其中，Xij=Xij-Xjsj，j=1，2

zi=li1s1x1+li2s2x2+…+liksk

将每个样本的k个指标变量以及它们的均值和标准差代入上式，就可以得到每个样本主成分得分。