数模学习教材-第二十七章 偏最小二乘回归分析.pdfVIP

第二十七章 偏最小二乘回归分析 在实际问题中，经常遇到需要研究两组多重相关变量间的相互依赖关系，并研究用 一组变量（常称为自变量或预测变量）去预测另一组变量（常称为因变量或响应变量）， 除了最小二乘准则下的经典多元线性回归分析（MLR ），提取自变量组主成分的主成 分回归分析（PCR）等方法外，还有近年发展起来的偏最小二乘（PLS）回归方法。 偏最小二乘回归提供一种多对多线性回归建模的方法，特别当两组变量的个数很 多，且都存在多重相关性，而观测数据的数量（样本量）又较少时，用偏最小二乘回归 建立的模型具有传统的经典回归分析等方法所没有的优点。 偏最小二乘回归分析在建模过程中集中了主成分分析，典型相关分析和线性回归分 析方法的特点，因此在分析结果中，除了可以提供一个更为合理的回归模型外，还可以 同时完成一些类似于主成分分析和典型相关分析的研究内容，提供更丰富、深入的一些 信息。 本章介绍偏最小二乘回归分析的建模方法；通过例子从预测角度对所建立的回归模 型进行比较。 §1 偏最小二乘回归分析 考虑 p 个因变量 y , y ,L, y 与m 个自变量 x , x , L, x 的建模问题。偏最小二 1 2 p 1 2 m 乘回归的基本作法是首先在自变量集中提出第一成分t （t 是x ,L, x 的线性组合， 1 1 1 m 且尽可能多地提取原自变量集中的变异信息）；同时在因变量集中也提取第一成分u ， 1 并要求t1 与u1 相关程度达到最大。然后建立因变量y , L, y 与t1 的回归，如果回归方 1 p 程已达到满意的精度，则算法中止。否则继续第二对成分的提取，直到能达到满意的精 度为止。若最终对自变量集提取 r 个成分 t , t , L, t ，偏最小二乘回归将通过建立 1 2 r y , L, y 与t , t , L, t 的回归式，然后再表示为y ,L, y 与原自变量的回归方程式， 1 p 1 2 r 1 p 即偏最小二乘回归方程式。 为了方便起见，不妨假定p 个因变量y , L, y 与m 个自变量x ,L, x 均为标准 1 p 1 m 化变量。因变量组和自变量组的n 次标准化观测数据阵分别记为 ⎡y 11 L y 1p ⎤ ⎡x11 L x1m ⎤ ⎢ ⎥ ⎢ ⎥ F M M ，E M M 0 ⎢ ⎥ 0 ⎢ ⎥ ⎢⎣y n1 L y np ⎦⎥ ⎢⎣xn1 L xnm ⎦⎥ 偏最小二乘回归分析建模的具体步骤如下： （1）分别提取两变量组的第一对成分，并使之相关性达最大。 假设从两组变量分别提出第一对成分为 t 和u ，t 是自变量集X (x ,L, xm )T 的 1 1 1 1