这一章的内容是模型评价与选择断断续续看了两周时间.docxVIP

这一章的内容是模型评估与选择，断断续续看了两周时间，感觉比看模型还费劲。其实这一章的大部分内 容我是熟悉的，包括各种模型选择的准则，交叉验证以及 bootstrap ,这些在实际建模的时候也经常用到， 但是关于其原理确实不是很清晰。这一章给出了详尽，但是又不那么理论的阐述。经典确实是经典。闲话 不多说了，开始读书笔记。对于同一个问题，比如分类问题或者预测问题，往往会有一系列的模型都可以 做。那么这些模型表现的如何，如何从这些模型中选择一个合适的，最好的模型，就成为了一个问题。而 这个问题在实际中是非常重要的。我们都知道，模型是建立在训练样本上的，而预测是需要在一个独立的 新的样本上进行的。在训练样本上所建立的模型，其在一个新的独立的样本上的表现如何进行评估，是一 个非常重要的问题。这一章首先介绍了偏差 (bias )，方差(variance )以及模型复杂度(model complexity ) 我们有一个target variable Y，以及输入向量X,以及通过训练样本得到的对于响应的估计(也就是我们的 模型)f?(X)o此外，我们还应该有一个损失函数 L(Y,f?(X))。损失函数可以有多种选择，比如平方损 失，绝对值损失，这两个主要是针对定量的响应的，对于定性的响应，也有 0-1损失，对数似然之类的。一 般而言，损失函数中比较常用的就是这些。有了模型以及损失函数之后，首先定义 test error (原谅我在这 里中英混杂，因为我发现用这种方法可以更好地区分几个不同的概念) 。test error是损失函数在一个新的， 独立的检验样本上的期望。Err=E[L(Y,f?(X))]。这个期望的计算需要涉及到新的检测样本的联合分布。 以上是test error的概念。于此对应的是training error的定义，training error是指在训练样本上的损失的平 均值。err - =inENi=1 L(yi,f?(xi)) 0 5 10 15 20 25 30 3S Model Complexity (df) 上面的图综合的阐述了模型复杂度，偏差，方差之间的关系。从图中，我们可以看出， training error显然 不是test error的一个好的估计。显然,training error 都低估了 test error。这个原因很容易解释，training error 所用的数据依然是建立模型用的数据，当然误差要小。另外，从这张图可以看出，随着模型复杂度的增加， training error是再不断减小的，而且如果模型足够复杂，是不会有 training error的。这种现象，往往被称 为过拟合。也就是说，拟合的太过头了。这也不是一个好现象。我们想要评估一个模型的好坏，想要知道 的，肯定是test error。通常而言，我们对于解决某个问题，会有一族模型，这族模型有一个tuning parameter a。我们记这族模型为f? a(X)。通常这个tuning parameter是用以辨识模型复杂程度的。这一章的主要 任务是估计test error曲线。而通常的模型选择和评估大致分为两个步骤，先通过 training error来选择模 型，然后再通过test error评估模型。对于test error的估计，通常有两种策略。一种是解析的做法，比如 AIC , BIC之类的。另外一种则是用交叉验证( cross-validation )或者bootstrap来估计。这两类方法也是 本书这一章的主要的内容构成。在介绍这些方法之前，有必要先看一看bias-variance 分解。 Err(x0)= 0- 2e+Bias2(f(x0))+Variance 通常而言，模型越复杂，bias越低，而方差variance则越高。关于这一部分，在之前的一篇笔记中已经通 过一个图提到了，这里也不再详述。通常， training error都是小于test error的。Err在某种意义上是 extra-sample error 。若我们定义 in-sample error ，则training error 对于test error 的乐观估计则更好理侣轧 in-sample error的定义是Errin = 1NZ2L(Ynewi,f?(xi))。则这个估计的乐观的部分如下定义 op=Errin- Ey(err —) 而通过推到，我们可以得到(这个推到书上也没有，应该是某一系列论文中的成果，我们这里不具体推， 只要知道这个结果就行) Errin=Ey(err — )+2N 工 cov(yi,y?i) 这个结果揭示了一个很重要的事儿，就是乐观估计的程度与估计值和真实值之间的相关性是密切相关的。 写到这我也有点糊涂了，按理说，我们