多元线性回归中的变量选择.pptVIP

多元线性回归中的变量选择 线性回归模型 两种情况 X列满秩： X列不满秩，先把X投影到某个子空间中，保证列满秩，再求解； 建立模型的步骤 采集数据X和y 将采集到的数据分成三个部分 校正集（Calibration set） 验证集（Validation set） 测试集（Test set） 校正集用于建立模型；验证集用于验证模型以确定最佳参数；测试集用于最终测试。 如果样本个数比较少，就只能分成校正集和测试集两部分； 这样，校正集还要用于验证模型，一般会导致过拟合（overfitting）。 数据集例子 图中共有80个样本， 40个校正集，20个验证集，20个测试集 每个样本700个变量 y是玉米中的植物油含量 建立模型 常用方法 MLR（Multiple Linear Regression） RR（Ridge Regression） PCR（Principle Component Regression） PLSR（Partial Least Squares Regression） NN（Neural Network） SVR（Support Vector Regression） 确定模型复杂度 原则 既不欠拟合（underfitting），也不过拟合； 模型越简单越好。 方法 交叉验证（Cross Validation） 交叉验证 交叉验证（续） 交叉验证（续） 用LOOCV（Leave-One-Out CV）选择模型常常导致轻微的过拟合。 为了避免这个问题，可以采用Leave-k-Out CV，但是 太大，计算费时； 建议采用MCCV（Monte Carlo CV） 也就是从 中随机选择N（当然N ）个出来做CV，只要N足够大，MCCV可以较好地逼近Leave-k-Out CV。 交叉验证（续） 变量选择 在变量个数比较多的情况下，部分变量不仅对于建立回归模型没有贡献， 甚至会导致复杂的、难以解释的模型，也会影响模型的预测性能。 目前已经有多种变量选择方法 后向剔除法（Backward elimination） 前向选择法（Forward selection） 逐步回归法（Stepwise regression） 基于回归系数变量选择 UVE（Uninformative Variables Elimination） 全局搜索算法 等等 回归系数 回归系数 变量的重要性可以通过回归系数体现出来 基于回归系数的变量选择算法 1、计算最佳模型复杂度a 2、求模型a的回归系数，并对它们的绝对值排序 3、保留前面部分变量或者剔除最后面的部分变量 回归系数 优点 经过多方比较发现，回归系数的确最能体现变量的重要性 缺点 模型a的选择困难 依赖于单个模型a的回归系数不够稳定 UVE 将原有变量和人工随机变量一起建立模型 用回归系数评估各个变量的稳定性 从原有变量中剔除所有稳定性指标低于随机变量的变量。 这种变量称为uninformative 全局搜索算法 其实变量选择问题就是对每一个变量来说，只有选中（1）和剔除（0）两种选择 因此，变量选择就是要选择一串“010101…..”，使得模型质量更好、复杂度更低。 共有 种不同的组合。 全局搜索算法，如GA，SA，AE和PSO等等。 全局搜索算法 优点 方法简单 缺点 一般只能得到局部极小值点。 本人的工作（一） 多模型融合变量选择 针对基于回归系数变量选择方法的缺点 本人的工作（二） ？？？ 0、用PLSR建立模型并估计RMSEP 1、将回归系数看作变量被选择的概率 2、根据它来随机选择变量，并建立模型 3、重复步骤2，N次 4、从N个模型中选择具有最小RMSEP的模型，并记录被选择的变量 5、如果这个RMSEP比原来的RMSEP小，转1；否则结束。 本人的工作（二）（续） 第一次迭代（N=200） 本人的工作（二）（续） 第二次迭代（N=200） 本人的工作（二）（续） 参考文献 H.A. Martens and P. Dardenne, “Validation and verification of regression in small data sets,” Chemometrics and Intelligent Laboratory Systems, vol. 44, 1998, pp. 99–121. Q. Xu and Y. Liang, “Monte Carlo cross validation,” Chemometrics and Intelligent Laboratory Systems, vol. 56, 2001, pp. 1–11. V. Centner, D. Massart, O.E.D. Noord, S.D. Jo