线性回归中的模型选择教学讲义.pptVIP

例：前列腺癌——岭回归 例：前列腺癌——岭回归 最佳测试误差 最佳模型 最佳测试误差+1倍方差 Lasso 类似岭回归，最小化 等价于 将岭回归中的惩罚项 用 代替 使得解为y的非线性组合，计算时用二次规划算法 如果t选择为足够小，会使得一些系数等于0。 选择最小期望测试误差的t 例：前列腺癌——Lasso 最佳测试误差 最佳模型 最佳测试误差+1倍方差 例：前列腺癌——Lasso Lasso会使某些系数=0 而岭回归不会 例：前列腺癌——不同正则化方法 收缩估计族 考虑标准 不同q对应的 的轮廓线为 在贝叶斯框架下， 可视为 的负的log先验 收缩估计族 在贝叶斯框架下，Lasso、岭回归和最佳子集选择表现为选择的先验分布不同 估计的结果都为贝叶斯估计：众数（最大后验） 岭回归同时也是后验均值（高斯分布的众数也是均值） 下节课内容 概率密度估计 [Wasserman] Chp19 Regularization Regularization: add model complexity penalty to training error. for some constant C Now Regularization forces weights to be small, but does it force weights to be exactly zero? is equivalent to removing feature f from the model L1 vs L2 regularization L1 vs L2 regularization To minimize , we can solve  by (e.g.) gradient descent. Minimization is a tug-of-war between the two terms L1 vs L2 regularization To minimize , we can solve  by (e.g.) gradient descent. Minimization is a tug-of-war between the two terms * * 线性回归中的模型选择 多元回归分析中，输入特征可能有许多，这些特征对模型都是必须的？ 否 因为： 预测准确性：当回归模型中变量增多时，预测的偏差的低但方差高（过拟合） 可解释性：当回归模型中的预测子数目很多时，模型很难解释 希望找到效果更明显的少数预测子 模型选择 模型选择 模型评估：用一些指标来衡量每个模型 解析计算：AIC/BIC/MDL 模拟计算：交叉验证/bootstap 模型搜索：在模型空间中搜索，找到在某个衡量指标下最优的模型 模型空间不大：穷举搜索 否则：贪心搜索 前向/后向/双向逐步 上述模型选择是离散的，亦称子集选择。另一类方法为连续的收缩方法 岭回归 Lasso 回顾：线性回归模型 假定 不依赖于x: 其中 模型类型：参数模型 损失：平方误差损失 参数选择：训练数据上的最小平方误差（最小二乘，在高斯噪声假设下，= 极大似然 ） 计算：矩阵求逆/QR分解 模型选择：AIC/BIC 回顾：线性回归模型 最小二乘参数估计的结果： 点估计： 偏差： 方差： 的无偏估计为： 子集选择 只保留变量的一个子集，将其余变量从模型中删除（将其系数置为0） 当p较小时，可穷尽搜索最佳子集 对每个 ，其中p为变量的总数目，找出容量为k的子集，计算每个模型的得分（AIC/BIC） 具体算法参考 FurnivalWilson 1974 容量较大的最佳子集不必包含容量较小的最佳子集 AIC：Akaike Information Criterion AIC为模型M测试误差的一个估计： 其中 为在模型M对应的训练集数据的对数似然函数，p为模型M中特征的数目 我们选择测试误差 最小的模型，等价于选择下述表达式最大的模型 Akaike, Hirotugu (December 1974). A new look at