偏最小二乘回归分析.docxVIP

偏最小二乘回归分析

偏最小二乘回归法是一种新型的多元统计数据分析方法，它主要研究的是多因变量对多自变量的回归建模，特别当各变量内部高度线性相关时，用偏最小二乘回归法更有效。另外，偏最小二乘回归较好地解决了样本个数少于变量个数等问题。

考虑个因变量与个自变量的建模问题。偏最小二乘回归的基本作法是首先在自变量集中提出第一成分（是的线性组合，且尽可能多地提取原自变量集中的变异信息）；同时在因变量集中也提取第一成分，并要求与相关程度达到大。然后建立因变量与的回归，如果回归方程已达到满意的精度，则算法中止。否则继续第二对成分的提取，直到能达到满意的精度为止。若终对自变量集提取个成分，偏小二乘回归将通过建立与的回归式，然后再表示为与原自变量的回归方程式，即偏小二乘回归方程式。

为了方便起见，不妨假设个因变量与个自变量均为标准化变量。自变量组和因变量组的次标准化观测数据矩阵分别记为

步骤：

分别提取两变量组的第一对成分，并使之相关性达到最大。

假设从两组变量分别提出第一对成分为和，是自变量集的线性组合,是因变量集的线性组合。为了回归分析的需要，要求：

=1\*GB3①和各自尽可能多的提取所在变量组的变异信息；

=2\*GB3②和的相关程度达到最大。

由两组变量集的标准化观测数据矩阵和，可以计算第一对成分的得分向量，记为和

第一对成分和的协方差可用第一对成分的得分向量和的内积来计算。故而以上两个要求可化为数学上的极值条件问题

利用数乘法，问题化为求单位向量和，使达到最大。问题的求解只需通过计算矩阵的特征值和特征向量，且的最大特征值为，相应的单位特征向量就是所求的解，而可有计算得到，即

建立对的回归及对的回归。

假定回归模型为

其中：，分别是多对一的回归模型中的参数向量；和是残差阵。回归系数向量，的最小二乘估计为

称，为模型效应负荷量。

用残差阵和代替和，重复以上步骤。

记,则残差阵。如果残差阵中元素的绝对值近似为0，则认为用第一个成分建立的回归式精度已满足需求了，可以停止抽取成分。否则用残差阵和代替和重复以上步骤，即得

而为第二对成分的得分向量，且

分别为的第二对成分的负荷量。这时有

设数据阵的秩为，则存在个成分，使得

把,代入，即得个因变量的最小二乘回归方程式为

交叉有效性性检验

每次舍去第个观测数据，对余下的个观测数据用偏最小二乘回归方法进行建模，并考虑抽取个成分后拟合的回归式，然后把舍去的自变量组第个观测数据代入所拟合的回归方程式，得到在第个观测点上的预测值。对重复以上的验证，即得抽取个成分时第个因变量的预测误差平方和为

的预测误差平方和为

另外，再采用所有的样本点，拟合含个成分的回归方程。这时，记第个样本点的预测值为，则可定义的误差平方和为

定义的误差平方和为

则当

时，就认为增加新的成分，对减少方程的预测误差无明显的改善作用。

与传统多元线性回归模型相比，偏最小二乘回归的特点是：

（1）能够在自变量存在严重多重相关性的条件下进行回归建模；

（2）允许在样本点个数少于变量个数的条件下进行回归建模；

（3）偏最小二乘回归在最终模型中将包含原有的所有自变量；

（4）偏最小二乘回归模型更易于辨识系统信息与噪声（甚至一些非随机性的\o偏最小二乘法

?噪声）；

（5）在偏最小二乘回归模型中，每一个自变量的回归系数将更容易解释。