规则化和模型选择.pdfVIP

规则化和模型选择（Regularization and model selection） 1 问题 模型选择问题：对于一个学习问题，可以有多种模型选择。比如要拟合一组样本点，可以使 用线性回归 ，也可以用多项式回归 。那么使用哪种模型好呢（能够在偏 差和方差之间达到平衡最优）？ 还有一类参数选择问题：如果我们想使用带权值的回归模型，那么怎么选择权重w 公式里 的参数 ？ 形式化定义：假设可选的模型集合是 ，比如我们想分类，那么 SVM、logistic 回归、神经网络等模型都包含在 M 中。 2 交叉验证（Cross validation） 我们的第一个任务就是要从 M 中选择最好的模型。 假设训练集使用 S 来表示 如果我们想使用经验风险最小化来度量模型的好坏，那么我们可以这样来选择模型： 1、 使用 S 来训练每一个 ，训练出参数后，也就可以得到假设函数 。（比如，线性模 型中得到 后，也就得到了假设函数 ） 2、 选择错误率最小的假设函数。 遗憾的是这个算法不可行，比如我们需要拟合一些样本点，使用高阶的多项式回归肯定比线 性回归错误率要小，偏差小，但是方差却很大，会过度拟合。因此，我们改进算法如下： 1、 从全部的训练数据 S 中随机选择 70%的样例作为训练集 ，剩余的 30%作为测试 集 。 2、 在 上训练每一个 ，得到假设函数 。 3、 在 上测试每一个 ，得到相应的经验错误 。 4、 选择具有最小经验错误 的 作为最佳模型。 这种方法称为 hold-out cross validation 或者称为简单交叉验证。 由于测试集是和训练集中是两个世界的，因此我们可以认为这里的经验错误 接近于 泛化错误（generalization error）。这里测试集的比例一般占全部数据的 1/4-1/3。30%是 典型值。 还可以对模型作改进，当选出最佳的模型 后，再在全部数据 S 上做一次训练，显然训练 数据越多，模型参数越准确。 简单交叉验证方法的弱点在于得到的最佳模型是在 70%的训练数据上选出来的，不代表在 全部训练数据上是最佳的。还有当训练数据本来就很少时，再分出测试集后，训练数据就太少了。 我们对简单交叉验证方法再做一次改进，如下： 1、 将全部训练集 S 分成 k 个不相交的子集，假设 S 中的训练样例个数为 m，那么每一个 子集有 m/k 个训练样例，相应的子集称作{ }。 2、 每次从模型集合 M 中拿出来一个 ，然后在训练子集中选择出 k-1 个 { } （也就是每次只留下一个 ），使用这 k-1 个子集训练 后，得到假 设函数 。最后使用剩下的一份 作测试，得到经验错误 。 3、 由于我们每次留下一个 （j 从 1 到 k），因此会得到 k 个经验错误，那么对于一个 ， 它的经验错误是这 k 个经验错误的平均。 4、 选出平均经验错误率最小的 ，然后使用全部的 S 再做一次训练，得到最后的 。 这个方法称为 k-fold cross validation （k-折叠交叉验证）。说白了，这个方法就是将简 单交叉验证的测试集改为 1/k，每个模型训练 k 次，测试 k 次，错误率为 k 次的平均。一般讲 k 取值为 10。这样数据稀疏时基本上也能进行。显然，缺点就是训练和测试次数过多。 极端情况下，k 可以取值为 m，意味着每次留一个样例做测试，这个称为 leave-one-out cross validation。 如果我们发明了一种新的学习模型或者算法，那么可以使用交叉验证来对模型进行评价。比如在 NLP 中，我们将训练集中分出一部分训练，一部分做测试。 3 特征选择（