源代码python下通过validation curves实现模型效能评估-peaker.pdfVIP

#源代码#python下通过Validationcurves实现模型效能评估

Peaker

每一个评估器都有各自的优点和缺点，所谓的一般误差可以被分

为bias偏差，variance方差变异，以及noise噪音。Bias指的是评估器

本身在处理不同训练集时体现出的的平均误差。Variance指的是评估器

在训练集改变时所体现出的敏感性变化。Noise指的是数据本身的噪音

干扰。我们以一个余弦函数为例

并且在函数中添加了一些噪音干扰。我们使用不同的评估器来拟合函

数，包括linear回归，polynomial特征度分别为1，4，15。我们使用

第一个评估器的拟合效果，因为样本太小，bias很高。第二个评

估器几乎完美的和数据拟合，最后的评估器近似拟合，但是和True

function的匹配效果并不好，可见它对于训练集的变化相当敏感，也就

是variance很高。

Bias和variance通常是评估器固有的属性，因此我们有时候需要

选择不同的学习算法和超参数，来使bias和viriance尽可能降到最低。

另一个降低variance的方法是使用的训练集，因此可以尽可能避

免训练集不同而造成的误差。然而，如果Truefunction是一个非常复

杂的函数，不能被一个低误差的评估器来近似估计，那这时候用户就

只能收集尽可能多的训练集。

在简单的一维问题中，我们已经非常容易的观察到一个评估器是

否可以承受bias或者variance。然而在一个问题中，模型就变得非

常难以实现可视化。对于这种问题，用Validationcurve这个方法通常

是非常有效的评估方法。

为了验证验证一个模型的效能，我们需要一个函数，比如用来描

述模型精度的函数。一个合适的选择评估器超参数的方法是gridsearch

或其他相似的参数优化的方法，这些方法可以通过参数选择，获得最

大的得分或最优解。需要注意的是，如果我们基于一个验证得分优化

了参数，那么这个验证得分通常是有偏的，因此不能有可移

植性的好的模型，也就是俗称的局部优化或过拟合。为了获得一个合

适的稳健的评估器，我们在另一套测试集上验证validationscore。

然而，有时候把单个参数在训练集上的影响plot到图形上有时候

是非常有效的，我们可以很容易观察出模型是否过拟合或低度拟合。

下面这个validationcurve帮助我们解决这种问题

我们引入一个测试数据iris，以及一个线性模型Ridge，通过

validation_curve函数对Ridge模型进行验证，在训练集以及测试集中

的得分如上图所示。

在下面这个plot图中你可以看到trainscore和validationscore，横

轴是SVM分类器kernel核函数的不同g参数。当g值非常

低时，我们可以看到trainscore和validationscore都非常低。这就叫做

低度拟合。当g值中等时，两个score都有所提高，分类器表现

的比较稳定。当g太高的时候，分类器发生了多度拟合，意味着

trainscore非常好，但是validationscore非常低。

以上过程通过py