线回归中的模型选择.pptVIP

线性回归中的模型选择 多元回归分析中，输入特征可能有许多，这些特征对模型都是必须的？ 否 因为： 预测准确性：当回归模型中变量增多时，预测的偏差的低但方差高（过拟合） 可解释性：当回归模型中的预测子数目很多时，模型很难解释 希望找到效果更明显的少数预测子 模型选择 模型选择 模型评估：用一些指标来衡量每个模型 解析计算：AIC/BIC/MDL 模拟计算：交叉验证/bootstap 模型搜索：在模型空间中搜索，找到在某个衡量指标下最优的模型 模型空间不大：穷举搜索 否则：贪心搜索 前向/后向/双向逐步 上述模型选择是离散的，亦称子集选择。另一类方法为连续的收缩方法 岭回归 Lasso 回顾：线性回归模型 假定 不依赖于x: 其中 模型类型：参数模型 损失：平方误差损失 参数选择：训练数据上的最小平方误差（最小二乘，在高斯噪声假设下，= 极大似然 ） 计算：矩阵求逆/QR分解 模型选择：AIC/BIC 回顾：线性回归模型 最小二乘参数估计的结果： 点估计： 偏差： 方差： 的无偏估计为： 回顾：线性回归模型 预测结果： 点估计： 偏差： 方差 其中 是固有的，与参数的估计 无关。对不同的估计 ，得到的预测的方差不同（ 不同） 子集选择 只保留变量的一个子集，将其余变量从模型中删除（将其系数置为0） 当p较小时，可穷尽搜索最佳子集 对每个 ，其中p为变量的总数目，找出容量为k的子集，计算每个模型的得分（AIC/BIC） 具体算法参考 FurnivalWilson 1974 容量较大的最佳子集不必包含容量较小的最佳子集 AIC：Akaike Information Criterion AIC为模型M测试误差的一个估计： 其中 为在模型M对应的训练集数据的对数似然函数，p为模型M中特征的数目 我们选择测试误差 最小的模型，等价于选择下述表达式最大的模型 AIC：Akaike Information Criterion 当假设高斯噪声时， 这样导出AIC另一种表示： 其中 为从一个低偏差估计的MSE估计 低偏差估计：复杂模型，即包括所有特征的模型 BIC ：Bayesian Information Criterion 类似AIC，可用于极大对数似然实现的拟合中 所以 最小化BIC，等价于最大化 最小描述长度（MDL）的结论同BIC 前向逐步回归 从截距开始，每次增加一个特征 计算增加特征后每个模型的AIC，假设当前模型有k个输入特征，则其AIC为： 选择AIC最小的模型 直到AIC不再变小 后向逐步回归 从包含所有特征的模型开始，每次去掉一个特征 计算去掉特征后每个模型的AIC 选择AIC最小的模型 直到AIC不再变小 例：前列腺癌—后向逐步回归 所有变量都用：k = 8 去掉一个变量， k = 7，去掉变量后的AIC分别为 去掉最小AIC对应的特征，即去掉gleason 例：前列腺癌—后向逐步回归（续） 最小AIC为72.0215，再继续去掉一个变量：k = 6 此时最小的AIC（ 72.1945 ）也比72.0215大， 不过也没比72.0215大多少 所以根据AIC准则，用后向逐步回归最后选择的模型为k=7 例：前列腺癌—后向逐步回归（续） 如果不停止，而是继续后向逐步回归，直到删除所有特征，则接下来删除的特征及其对应的AIC分别为 k=7, 删除gleason, AIC= 72.0215 k=6, 删除age, AIC= 72.1945 k=5, 删除lcp, AIC= 73.2095 k=4, 删除pgg45, AIC= 72.6790 k=3, 删除lbph, AIC= 74.8309 k=2, 删除svi, AIC= 77.1088 k=1, 删除lweight, AIC= 89.7667 k=0, 删除lcavol, AIC= 189.7727 例：前列腺癌—后向逐步回归（续） ：模型与训练集的拟合程度 模型越复杂，与训练数据拟合得越好，但可能过拟合 AIC：测试误差的估计，与训练集的拟合程度和模型复杂度都有关 例：前列腺癌—前向逐步回归 不用任何变量：k = 0 增加一个变量， k = 1，增加变