交叉验证我的总结.docVIP

先说下我和邵是云的聊天情况： 她的意思其实一开始所有样本也是先分为了两个部分，一个大的部分是训练集，一个小的部分是测试集，然后只是在训练集里面分为常规训练集和一个效验集，且是交叉验证的方式，都全部交叉验证搞完了，再最后单独测试那个小部分的测试集样本？就是你说的training accuracy（常规训练集）, cross validation rate（效验集） and test accuracy（测试集），她说这是标准的方式，而如果全体数据用来训练和交叉验证其实就是把所有的样本全部分为了训练集和效验集，所以就没有test accuracy一说。 常用的精度测试方法有交叉验证，例如10倍交叉验证(10-fold cross validation)，将数据集分成十分，轮流将其中9份做训练1份做测试，10次的结果的均值作为对算法精度的估计，一般还需要进行多次10倍交叉验证求均值，例如10次10倍交叉验证，更精确一点。当训练样本数目过少，采用“交叉验证法”（cross validation）.交叉验证法分两种1:K重交叉验证法：该方法是最为普遍的计算推广误差的方法之一。其过程为：将训练样本集随机分为K个集合，通常分为K等份，对其中的K-1个集合进行训练，得到一个决策函数，并用决策函数对剩下的一个集合进行样本测试。该过程重复K次，取K次过程中的测试错误的平均值作为推广误差。2:留一法：该方法可以说是K重交叉验证法的极端情况，即K=L，L为整个训练样本集的大小。该过程为 ：对于第i个训练样本，将其取出，对剩下L-1个样本进行训练，得到决策函数，并用其测试第i个训练样本，该过程重复L次，用此方法求出的误差对于实际中的测试误差来说几乎是无偏的。(注意当样本过少,即使交叉验证效果也不会理想,一般样本应在100以上.) k-fold?validation中文就是k-折交叉验证(确认)其中的k是用户自己定的但它必须比原始的训练集中的元素个数n要小,即k=n.著名的loo(leave?one?out,留一法)就是k-fold?validation的一个特例即loo中的k=n.k-fold?validation经常被用来训练NN,SVM等来确定一个最优的参数它的基本思想就是将原始的训练集分成两部分:训练集2(为了与原始训练集相区别,本处称之为训练集2)与验证集从原始训练集中选择n/k个元素组成验证集剩下的(k-1)*n/k个元素用来做训练集2然后用训练集2来训练NN,SVM等,用验证集来验证所得分类器(此处以分类为例,对回归应该也一样)的错误码率然后再次选择另外n/k个元素组成验证集剩下的做为训练集2循环,直到所有元素n/k个元素全部被选择一遍为止比较以上每次循环所得分类器的错误率把所得错误率最低的那个参数认为是最优的参数-fold?cross-validation不是什么参数都可以调的它可以调的只是离散的参数，比如网络hidden?node的个数对于连续的参数没法调网络的权值是通过learning?algorithm来调节的只是用validation?set来控制是否over?train跟k-fold?cross-validation没有什么关系除此之外k-fold?cross-validation主要是干什么?根据一个样本集k次validation之后的误差的平均值来估计一个已经训练好的网络的泛化误差结构风险最小化 VC 维在有限的训练样本情况下，当样本数 n 固定时，此时学习机器的 VC 维越高学习机器的复杂性越高。VC 维反映了函数集的学习能力，VC 维越大则学习机器越复杂(容量越大)。??????? 所谓的结构风险最小化就是在保证分类精度（经验风险）的同时，降低学习机器的 VC 维，可以使学习机器在整个样本集上的期望风险得到控制。?????? 推广的界（经验风险和实际风险之间的关系，注意引入这个原因是什么？因为训练误差再小也就是在这个训练集合上，实际的推广能力不行就会引起过拟合问题还。所以说要引入置信范围也就是经验误差和实际期望误差之间的关系）：??? 期望误差R(ω) ≤ Remp (ω)+ Φ（n/h）注意Remp (ω)是经验误差也就是训练误差（线性中使得所有的都训练正确），Φ（n/h）是置信范围，它是和样本数和VC维有关的。上式中置信范围Φ 随n/h增加，单调下降。即当n/h较小时，置信范围Φ 较大，用经验风险近似实际风险就存在较大的误差，因此，用采用经验风险最小化准则，取得的最优解可能具有较差的推广性；如果样本数较多，n/h较大，则置信范围就会很小，采用经验风险最小化准则，求得的最优解就接近实际的最优解。可知：影响期望风险上界的因子有两个方面：首先是训练集的规