第30章偏最小二乘回归.docVIP

第三十章 偏最小二乘回归 在实际问题中，经常遇到需要研究两组多重相关变量间的相互依赖关系，并研究用 一组变量（常称为自变量或预测变量）去预测另一组变量（常称为因变量或响应变量）， 除了最小二乘准则下的经典多元线性回归分析（MLR），提取自变量组主成分的主成 分回归分析（PCR）等方法外，还有近年发展起来的偏最小二乘（PLS）回归方法。 偏最小二乘回归提供一种多对多线性回归建模的方法，特别当两组变量的个数很 多，且都存在多重相关性，而观测数据的数量（样本量）又较少时，用偏最小二乘回归 建立的模型具有传统的经典回归分析等方法所没有的优点。 偏最小二乘回归分析在建模过程中集中了主成分分析，典型相关分析和线性回归分 析方法的特点，因此在分析结果中，除了可以提供一个更为合理的回归模型外，还可以 同时完成一些类似于主成分分析和典型相关分析的研究内容，提供更丰富、深入的一些 信息。 本章介绍偏最小二乘回归分析的建模方法；通过例子从预测角度对所建立的回归模 型进行比较。 §1 偏最小二乘回归 考虑 p个变量 y1, y2,, yp与m个自变量 x1, x2,, xm的建模问题。偏最小二乘 回归的基本作法是首先在自变量集中提出第一成分t1（t1是 x1,, xm的线性组合，且 尽可能多地提取原自变量集中的变异信息）；同时在因变量集中也提取第一成分u1， 并要求t1与u1相关程度达到最大。然后建立因变量 y1,, yp与t1的回归，如果回归方 程已达到满意的精度，则算法中止。否则继续第二对成分的提取，直到能达到满意的精 度为止。若最终对自变量集提取r个成分t1,t2,,tr，偏最小二乘回归将通过建立 y1,, yp与t1,t2,,tr的回归式，然后再表示为 y1,, yp与原自变量的回归方程式， 即偏最小二乘回归方程式。 为了方便起见，不妨假定 p个因变量 y1,, yp与m个自变量 x1,, xm均为标准 化变量。因变量组和自变量组的n次标准化观测数据阵分别记为 ? y1p? ? y F0 # x x1m? 11 11 ? ? ? ? # # ， E0 # ? ? ? ? ? ? ? ? ? y ynp x xnm ? ? ? n1 n1 偏最小二乘回归分析建模的具体步骤如下： -531- （1）分别提取两变量组的第一对成分，并使之相关性达最大。 假设从两组变量分别提出第一对成分为t1和u1，t1是自变量集 X x1,, xm 的 T 线性组合：t1 w x1 ++ w1mxm w1T X 11 ，u1是因变量集Y y1,, yp T 的线性组 合：u1 v11y1 ++ v1pyp v1TY 。为了回归分析的需要，要求： ① t1和u1各自尽可能多地提取所在变量组的变异信息； ② t1和u1的相关程度达到最大。 由两组变量集的标准化观测数据阵 E0和 F0，可以计算第一对成分的得分向量，记 ? ? 为t1和u1： ?x11 x1m??w11 ? ?t ? 11 ? ?? ? ? ? # # # ?? ? ? ? ? E0w1 # t 1 ? ? ? ?? ? ? ? w ?? ? ? ? 1m x xnm t n1 n1 ? ?? ? ? ? v u 11 11 ?? ? ? ? y u?1 F0v1 # y1p # # # ynp 11 ? ? ?? ? ? ? ? ?? ? ? ? v ?? ? ? ? 1p y u ? n1 n1 ? ? 第一对成分t1和u1的协方差Cov t1,u1 可用第一对成分的得分向量t1和u1的内积 来计算。故而以上两个要求可化为数学上的条件极值问题： ? E0w1,Y0v1 w1TE0TF0x1 ? max t ,u ? ? 1 1 ?w T w w1 2 1, v1 v1 v1 2 1 T ? 1 利用Lagrange乘数法，问题化为求单位向量w1和v1，使θ1 w1TE0TF0v1 ?最大。问 题的求解只须通过计算m×m矩阵M E0TF0F E T 的特征值和特征向量，且M 的最大特 0 0 征值为θ12，相应的单位特征向量就是所求的解w1，而v1可由w1计算得到v1 θ1 F0 T E0w1。 1 （2）建立 y1,, yp对t1的回归及 x1,, xm对t1的回归。 假定回归模型为 -532- ?E0 t?1α1T + E1 ? u?1β 1T + F1 F