偏最小二乘回归=多元线性回归分析典型相关分析主成分分析.docxVIP

偏最小二乘回归是一种新型的多元统计数据分析方法，它与1983年由伍德和阿巴诺等人首次提出。近十年来，它在理论、方法和应用方面都得到了迅速的发展。密西根大学的弗耐尔教授称偏最小二乘回归为第二代回归分析方法。

偏最小二乘回归方法在统计应用中的重要性主要的有以下几个方面：

偏最小二乘回归是一种多因变量对多自变量的回归建模方法。

偏最小二乘回归可以较好地解决许多以往用普通多元回归无法解决的问题。在普通多元线形回归的应用中，我们常受到许多限制。最典型的问题就是自变量之间的多重相关性。如果采用普通的最小二乘方法，这种变量多重相关性就会严重危害参数估计，扩大模型误差，并破坏模型的稳定性。变量多重相关问题十分复杂，长期以来在理论和方法上都未给出满意的答案，这一直困扰着从事实际系统分析的工作人员。在偏最小二乘回归中开辟了一种有效的技术途径，它利用对系统中的数据信息进行分解和筛选的方式，提取对因变量的解释性最强的综合变量，辨识系统中的信息与噪声，从而更好地克服变量多重相关性在系统建模中的不良作用。

偏最小二乘回归=多元线性回归分析

偏最小二乘回归=多元线性回归分析+典型相关分析+主成分分析

由于偏最小二乘回归在建模的同时实现了数据结构的简化，因此，可以在二维平面图上对多维数据的特性进行观察，这使得偏最小二乘回归分析的图形功能十分强大。在一次偏最小二乘回归分析计算后，不但可以得到多因变量对多自变量的回归模型，而且可以在平面图上直接观察两组变量之间的相关关系，以及观察样本点间的相似性结构。这种高维数据多个层面的可视见性，可以使数据系统的分析内容更加丰富，同时又可以对所建立的回归模型给予许多更详细深入的实际解释。

一、偏最小二乘回归的建模策略\原理\方法

建模原理

设有q个因变量{y

1

,...,y

q

}和p自变量{x

1

,...,x

p

}。为了研究因变量和自变量

的统计关系,我们观测了 n 个样本点,由此构成了自变量与因变量的数据表

X={x

1

,...,x

p

}和.Y={y

1

,...,y

q

}。偏最小二乘回归分别在X与Y中提取出成分t 和

1

u (也就是说, t

1 1

是x,...,x

1 p

的线形组合, u

1

是y,...,y

1 q

的线形组合).在提取这

两个成分时,为了回归分析的需要,有下列两个要求:

t

1

t

1

和u应尽可能大地携带他们各自数据表中的变异信息;

1

与u 的相关程度能够达到最大。

1

这两个要求表明，t和u

1 1

应尽可能好的代表数据表X和Y,同时自变量的成分

t对因变量的成分u

1 1

又有最强的解释能力。

在第一个成分t

1

和u被提取后，偏最小二乘回归分别实施X对t

1 1

的回归

以及Y对u 的回归。如果回归方程已经达到满意的精度，则算法终止；否则,

1

将利用X被t

1

解释后的残余信息以及Y被t

1

解释后的残余信息进行第二轮的

成分提取。如此往复，直到能达到一个较满意的精度为止。若最终对X共提取

了m个成分t

1

，…，t

偏最小二乘回归将通过实施

m，

对t，…，t ，的

y1km回归,然后再表达成y 关于原变量

y

1

k

m

k

x ，…，x ，的回归方程,k=1,2,…,q。

1m

1

计算方法推导

为了数学推导方便起见,首先将数据做标准化处理。X经标准化处理后的数

据矩阵记为E

0

=(E

，…，E

01

)

0p n?p

，Y 经标准化处理后的数据矩阵记为

j

F=(F

0 01

，…，F

0q

) 。

n?p

E第一步 记t是

E

1 0

的第一个成分，w是

E1 0

E

的第一个轴，它是一个单位向量，

既||w

1

||=1。

记u是F

1 0

的第一个成分，u=F

1 0

c c 是F

1。 1 0

的第一个轴，并且||c

1

||=1。

如果要t

1

u能分别很好的代表X与Y中的数据变异信息，根据主成分分

，1

，

析原理，应该有

Var(u

1

)?max

Var(t

1

)?max

另一方面，由于回归建模的需要，又要求t对u有很大的解释能力，有典型相关

1 1

分析的思路，t

1

与u的相关度应达到最大值，既

1

1 1r（t，u）?

1 1

因此，综合起来，在偏最小二乘回归中，我们要求t

1

与u的协方差达到最大，既

1

Cov(t

1

u)=

，1

，

r(t

Var(t

Var(t)Var(u)

，u) ?max

1正规的数学表