偏最小二乘回归分析在均匀设计试验建模分析中的.pdf

偏最小二乘回归分析在均匀设计试验 建模分析中的应用 唐启义 (浙江大学农业与生物技术学院 杭州) 摘要 本文分析了目前应用一般的最小二乘法建立均匀试验数据的二次多项式回 归模型时存在的局限性，提出了应用偏最小二乘法(Partial least-square ，PLS)建立 二次多项式回归模型的技术，并已在作者开发的统计分析软件(DPS 数据处理系统) 中实现。然后以一实例对PLS 的回归建模过程进行了介绍。作者认为，PLS 回归 分析建模技术将为均匀设计的更广泛应用提供有力的技术支持。 关键词 偏最小二乘法，均匀设计，回归分析，模型优化 引言 回归分析是均匀设计数据分析的主要手段。由于均匀设计的出发点是建立多 因素寻优模型，这样，如考虑多因素互作、模型最优化的的实际需要，最基本的 要求是根据均匀设计试验结果建立二次多项式回归模型。若试验设计有m 个因素 x 1, L, x m , 当观察指标为y 时，其二次多项式回归模型为 m m 2 y x x x x β + β + β + β +ε 0 ∑ i i ∑ ii i ∑ ij i j i 1 i 1 i=j 其中β ，β，β 和β 为回归系数，ε为随机误差。从上述回归模型可以看到，除了 0 I ii ij 常数项β 以外，方程有 m(m+3)/2 项，若使回归系数的估计有可能，必要条件为 0 试验次数n1+m(m+3)/2 。当m 较大时，通常不能满足这个必要条件。目前通常的 做法是采用逐步回归分析技术，从二次多项式方程中选择方差贡献显着的因素或 因素组合，删除不显着（重要）的因素或因素组合，建立含部分变量的回归方程 模型。 但是，从实际操作、应用来看，有几个问题：一是分析时，多数自变量是组合 变量，它们之间存在有严重的多重共线性，这会使得分析结果很不稳定，以致有 时，某个因素是否选入对回归方程产生很大的影响，使建模者左右为难；二是选 中的自变量，有时与我们所希望的有较大的出入，从专业知识方面认为是重要的 变量往往落选，特别是有时单相关非常显着的变量落选，使我们很难信服地接受 这样的“最优”回归模型；三是所建立的回归方程模型，有的因素的回归系数符 号反常，这与专业背景不符合；四是在配方均匀设计试验、并考查外界影响因素 101 时，配方成份是不能随意去掉的；最后，我们有时考察试验结果是多个指标，对 多个目标变量同时建模分析，这是一般的最小二乘回归分析方法不能解决的。从 上述这 5 个问题可以看出，传统的基于最小二乘的多元线性回归、逐步回归分析 方法不能完全适应均匀设计数据建模过程的需要。 偏最小二乘法(partial least squares) 回归分析方法，这一从应用领域提出的一种 新的多元数据分析技术在近10 多年以来得到了迅速地发展。偏最小二乘法可以有 效地克服目前回归建模的许多实际问题，如上面提到的样本容量小于变量个数时 进行回归建模，以及多个因变量对多自变量的同时回归分析等一般最小二乘回归 分析方法无法解决的问题。 1. 基本理论与算法简介 偏最小二乘回归分析，最初是研究多解释变量和多个反应变量的定量关系， 即在解释变量空间和反应变量空间分别寻找某些线性组合 （潜变量），并使得两个 变量空间的协方差最大。如用X × 表示解释变量，用 Y × 表示反应变量，这里n n m n k 是样本个数。PLS 的目的是将数据集投影到一系列的潜变量t 和u