线性回归中的模型选择.pdf

线性回归中的模型选择 多元回归分析中，输入特征可能有许多，这些特 征对模型都是必须的？ 否 因为： 预测准确性：当回归模型中变量增多时，预测的偏差 的低但方差高（过拟合） 可解释性：当回归模型中的预测子数目很多时，模型 很难解释 希望找到效果更明显的少数预测子 模型选择 模型选择 模型评估：用一些指标来衡量每个模型 解析计算：AIC/BIC/MDL 模拟计算：交叉验证/bootstap 模型搜索：在模型空间中搜索，找到在某个衡量指标下 最优的模型 模型空间不大：穷举搜索 否则：贪心搜索 前向/后向/双向逐步 上述模型选择是离散的，亦称子集选择。另一类方法为 连续的收缩方法 岭回归 Lasso 回顾：线性回归模型 假定V ε | X x σ2 不依赖于x : ( ) p Y X β=+ε ∑X β =+ε y Xβ+ε j j i i i i i j 0 其中E ε | X 0, V ε | X σ2 ( i i ) ( i i ) 模型类型：参数模型 损失：平方误差损失 参数选择：训练数据上的最小平方误差（最小二乘，在高 斯噪声假设下，= 极大似然） 计算：矩阵求逆/QR分解 模型选择：AIC/BIC 回顾：线性回归模型 最小二乘参数估计的结果： −1 T T ˆ 点估计： β X X X y ( ) ˆ 偏差：E β β ( ) −1 2 T 方差： ˆ V β σ X X ( ) ( ) 2 2 1 n 2 σ 的无偏估计为： ˆ ˆ σ ∑εi − +1 n (p ) i 1 回顾：线性回归模型 预测结果： ˆ ˆ 点估计：