(十六)偏最小二乘法回归.pdfVIP

偏最小二乘法回归（Partial Least Squares Regression ） JerryLead  csxulijie@  2011 年 8 月 20 日星期六  1. 问题 这节我们请出最后的有关成分分析和回归的神器 PLSR。PLSR 感觉已经把成分分析和回 归发挥到极致了，下面主要介绍其思想而非完整的教程。让我们回顾一下最早的 Linear  Regression 的缺点：如果样例数 m 相比特征数 n 少 （mn）或者特征间线性相关时，由于 （n*n 矩阵）的秩小于特征个数（即 不可逆）。因此最小二乘法  就会失 效。  为了解决这个问题，我们会使用 PCA 对样本 X （m*n 矩阵）进行降维，不妨称降维后的 X 为 X’ （m*r 矩阵，一般加了’就表示转置，这里临时改变下），那么X’ 的秩为 r （列不相关）。  2. PCA Revisited 所谓磨刀不误砍柴工，这里先回顾下 PCA。    令 X 表示样本，含有 m 个样例 , ,…, ，每个样例特征维度为 n ， , ,… 。假设我们已经做了每个特征均值为0 处理。    如果 X 的秩小于 n，那么 X 的协方差矩阵 的秩小于 n，因此直接使用线性回归的 话不能使用最小二乘法来求解出唯一的θ，我们想使用 PCA 来使得可逆，这样就可以用 最小二乘法来进行回归了，这样的回归称为主元回归（PCR）。    PCA 的一种表示形式：        r  n     r  m  m  n        T  X P       其中 X 是样本矩阵，P 是 X 的协方差矩阵的特征向量（当然是按照特征值排序后选取的 前 r 个特征向量），T 是 X 在由 P 形成的新的正交子空间上的投影（也是样本 X 降维后的新 矩阵）。    在线性代数里面我们知道，实对称阵 A 一定存在正交阵 P，使得为对角阵。因此 可以让的特征向量矩阵 P 是正交的。    其实 T 的列向量也是正交的，不太严谨的证明如下：        其中利用了 ，这是求 P 的过程，是对角阵，对角线上元素就是特征值λ。 这里对 P 做了单位化，即 。这就说明了 T 也是正交的，  P 是 的特征向量矩阵， 更进一步，T 是 的特征向量矩阵（ 。        这样经过 PCA 以后，我们新的样本矩