偏最小二乘回归方法的局限性及改进算法.pdfVIP

第38 卷第9 期 数学的实践与认识 V o l38　N o 9　 2008 年5 月 M A TH EM A T IC S IN PRA CT ICE AN D TH EO R Y M ay , 　2008　 偏最小二乘回归方法的局限性及改进算法 林　敏, 　杜光年, 　刘志斌 ( 西南石油大学, 四川 成都　6 10500) 摘要: 　提出了偏最小二乘回归中的一类不适用情况, 并从理论上分析, 实例上验证, 给出了针对这种情况 的一种改进算法, 从而拓宽了偏最小二乘回归的使用范围. 关键词: 　偏最小二乘回归; 正交投影; 改进算法 0　引　　言 　　偏最小二乘回归方法是为了解决线性回归中的多重共线性问题而提出的, 它可以集多 元线性回归分析、典型相关分析和主成分分析的基本功能于一体, 将建模预测模型的数据分 析方法与非模型式的数据认识性分析方法有机地结合起来, 可以更好地克服变量多重相关 性在系统建模中地不良作用, 因而得到广泛的应用. 但是, 在实际运用中我们注意到, 它不是 对于所有的多重共线性问题都有效, 有些数据得到的结果很不合理. 因此, 有必要研究哪一 类数据不适合用偏最小二乘方法来处理, 分析不适合的原因, 并针对分析结果提出相应的改 进办法, 使得修正后的偏最小二乘法可以处理这类数据并得到合理的结果. 本文所研究的修正方法其主要思路是用正交投影来除去解释矩阵中与响应向量无关的 信息, 从而避免他们的干扰. 1　偏最小二乘法的一个不适用情况及原因 设有单因变量y 和p 个自变量 {x 1 , x 2 , …, x p }, 观察 n 个样本点, 构成自变量与因变量 的数据表X = [x 1 , x 2 , …, x p ]n ×p 和Y = [y ]n ×1 , 分别叫做解释矩阵和响应向量. 偏最小二乘 回归方法的基本原理是按照降序, 根据交叉有效性原则, 在 中顺次选择使协方差 Cov ( t , X i Y ) 尽量大的成分 T k = ( t , t , …, t ) , 然后通过建立 与 t , t , …, t 的回归式最终表示为 1 2 k Y 1 2 k Y 与x 1 , x 2 , …, x p 的回归方程式. 提取成分时为了回归分析的需要, 有下列两个要求需要满足: 1) 所提取的成分 T k = ( t , t , …, t ) 能尽量多的含有数据表 的信息; 2) T k = ( t , t , …, t ) 与 尽量相关. 根据以 1 2 k X 1 2 k Y 上要求, 偏最小二乘回归的工作思路本来是寻找使方差V ar ( t ) 和相关系数 Co r r ( t , Y ) 都 i i 最大或较大的成分 t , 但具体执行计算时的目标却变成了Cov ( t , Y ) 最大或比较大. 前后两 i i 个 目标的数学含义是不同的, 由此得出的 ti 也就有了区别.