规则化和模型选择Regularizationandmodelselection1问题1.PDF

规则化和模型选择 （Regularization and model selection ） JerryLead csxulijie@ 2011 年3 月24 日星期四 1 问题 模型选择问题：对于一个学习问题，可以有多种模型选择。比如要拟合一组样本点，可以使 用线性回归(y = ) ，也可以用多项式回归(y = 1~ ) 。那么使用哪种模型好呢 （能够 在偏差和方差之间达到平衡最优）？ 还有一类参数选择问题：如果我们想使用带权值的回归模型，那么怎么选择权重w 公式里 的参数τ ？ 形式化定义：假设可选的模型集合是Μ = * , , …, + ，比如我们想分类，那么SVM、logistic 1 2 回归、神经网络等模型都包含在M 中。 1 交叉验证（Cross validation ） 我们的第一个任务就是要从M 中选择最好的模型。 假设训练集使用S 来表示 如果我们想使用经验风险最小化来度量模型的好坏，那么我们可以这样来选择模型： 1、使用 S 来训练每一个 ，训练出参数后，也就可以得到假设函数ℎ 。（比如，线性模型 ( ) 中得到 后，也就得到了假设函数ℎ x = ） 2、选择错误率最小的假设函数。 遗憾的是这个算法不可行，比如我们需要拟合一些样本点，使用高阶的多项式回归肯定 比线性回归错误率要小，偏差小，但是方差却很大，会过度拟合。因此，我们改进算法如下： 1、从全部的训练数据 S 中随机选择 70%的样例作为训练集train ，剩余的 30%作为测试集 CV 。 2、在 上训练每一个 ，得到假设函数ℎ 。 train 3、在 上测试每一个ℎ ，得到相应的经验错误̂ (ℎ ) 。 CV CV 4 、选择具有最小经验错误̂ (ℎ ) 的ℎ 作为最佳模型。 CV 这种方法称为hold-out cross validation 或者称为简单交叉验证。 由于测试集是和训练集中是两个世界的，因此我们可以认为这里的经验错误̂ (ℎ )接 CV 近于泛化错误（generalization error ）。这里测试集的比例一般占全部数据的1/4-1/3。30%是 典型值。 还可以对模型作改进，当选出最佳的模型 后，再在全部数据 S 上做一次训练，显然 训练数据越多，模型参数越准确。 简单交叉验证方法的弱点在于得到的最佳模型是在70%的训练数据上选出来的，不代表 在全部训练数据上是最佳的。还有当训练数据本来就很少时，再分出测试集后，训练数据就 太少了。 我们对简单交叉验证方法再做一次改进，如下： 1、将全部训练集S 分成k 个不相交的子集，假设S 中的训练样例个数为m，那么每一个子 集有m/k 个训练样例，相应的子集称作{ , , …,