偏最小二乘回归方法(PLS).pdfVIP

偏最小二乘回归方法 1 偏最小二乘回归方法 (PLS)背景介绍 在经济管理、教育学、农业、社会科学、工程技术、医学和生物学中，多元线性回归分 析是一种普遍使用的统计分析和预测技术。多元线性回归中，一般采用最小二乘方法 (Ordinary Least Squares :OLS)估计回归系数， 以使残差平方和达到最小， 但当自变量之间存在 多重相关性时， 最小二乘估计方法往往失效。 而这种变量之间多重相关性问题在多元线性回 归分析中危害非常严重，但又普遍存在。为消除这种影响，常采用主成分分析 (principal Components Analysis :PCA)的方法，但采用主成分分析提取的主成分，虽然能较好地概括自 变量系统中的信息，却带进了许多无用的噪声，从而对因变量缺乏解释能力。 最小偏二乘回归方法 (Partial Least Squares Regression：PLS)就是应这种实际需要而产生和 发展的一种有广泛适用性的多元统计分析方法。 它于 1983 年由 S.Wold 和 C.Albano 等人首次 提出并成功地使用在化学领域。 近十年来， 偏最小二乘回归方法在理论、 方法和使用方面都 得到了迅速的发展， 己经广泛地使用在许多领域， 如生物信息学、 机器学习和文本分类等领 域。 偏最小二乘回归方法主要的研究焦点是多因变量对多自变量的回归建模， 它和普通多元 回归方法在思路上的主要区别是它在回归建模过程中采用了信息综合和筛选技术。 它不再是 直接考虑因变量集合和自变量集合的回归建模， 而是在变量系统中提取若干对系统具有最佳 解释能力的新综合变量 (又称成分 )，然后对它们进行回归建模。偏最小二乘回归可以将建模 类型的预测分析方法和非模型式的数据内涵分析方法有机地结合起来， 可以同时实现回归建 模、数据结构简化 (主成分分析 )以及两组变量间的相关性分析 (典型性关分析 ) ，即集多元线 性回归分析、 典型相关分析和主成分分析的基本功能为一体。 下面将简单地叙述偏最小二乘 回归的基本原理。 2 偏最小二乘法的工作目标 2.1 偏最小二乘法的工作目标 在一般的多元线性回归模型中， 如果有一组因变量 Y={y ,…,y }和一组自变量 X={x ,…,x } ， 1 q 1 p 当数据总体能够满足高斯 —马尔科夫假设条件时，根据最小二乘法，有 T -1 T Y =X （X X ） X Y T Y 将是 Y 的一个很好的估计量。从这个公式容易看出，由于（ X X ）必须是可逆矩阵，所以 当 X 中的变量存在严重的多重相关性时， 或者在 X 中的样本点数和变量个数相比显然过少时， 这个最小二乘估计都会失效并将引发一系列使用方面的困难。 考虑到这个问题，偏最小二乘回归分析提出了采用成分提取的方法。在主成分分析中， 对于单张数据表 X，为了找到能最好地概括原数据的综合变量， 在 X 中提取了第一主成分 F