02.机器学习样本评估与选择.pdfVIP

02.机器学习样本评估与选择 02.机器学习样本评估与选择 经验误差与过拟合 精度=1-错误率=1-错误样本数/总样本数 学习器的实际预测输出与样本的真实输出之间的差异称为“误差”（error），学习器在训练集上的误差称为“训练误差”（training error）或“经验误差”（empirical error），在新样本上的误差称为“泛化误差”（generalizationerror）.显然，我们希望得到泛 化误差⼩的学习器。 模型选择（modelselection）问题：理想的解决⽅案当然是对候选模型的泛化误差进⾏评估，然后选择泛化误差最⼩的那个模型。 过拟合（Overfitting）：学习器将训练样本学的太好，将样本⾃⾝的⼀些特点当作了所有潜在样本都会具有的⼀般性质，导致泛化性 能下降。过拟合⽆法避免只能缓解 ⽋拟合（Underfitting）：学习器学习能⼒低下造成 评估⽅法 通常，我们可通过实验测试来对学习器的泛化误差进⾏评估并进⽽做出选择.为此，需使⽤⼀个“测试集”（testing set）来测试学习器对 新样本的判别能⼒，然后以测试集上的“测试误差”（testing error）作为泛化误差的近似.通常我们假设测试样本也是从样本真实分布中 独⽴同分布采样⽽得，但需注意的是，测试集应该尽可能与训练集互斥，即**测试样本尽量不在训练集中出现、未在训练过程中使⽤过。 测试集和训练集划分⽅法 1. 留出法(hold-out) 直接将数据集D划分为两个互斥的集合 1. 保持数据分布的⼀致性，保持⽤于学习的数据集与⽤于测试的数据集的分布特征⼀致（例如 ：分层采样） 2. 多次重复划分 3. 测试集不能太⼤，也不能太⼩（⼀般 1/5～ 1/3） 2. 交叉验证法（cross validation） 先将数据集 D 划分为k个⼤⼩相似的互斥⼦集,然后每次⽤k-1个⼦集的并集作为训练集，余下的那个⼦集作为测试集 ；这样就可获得k 组训练/测试集，从⽽可进⾏k次训练和测试，最终返回的是这 k 个测试结果的均值。为强调k的取值重要性，通常把交叉验证法称 为“k折交叉验证”（k-fold crossvalidation）。k最常⽤的取值是 10，此时称为 10 折交叉验证；其他常⽤的k值有 5、20 等。 1. 留出法总归是使⽤ 了⼀部分数据，没有测试全部数据，因此 k 折交叉验证就是解决这个问题。 2. 假设将数据集分成 k = 10 份 ，第⼀次使⽤ D10 作为测试集，第⼆次使⽤ D9 作为测试集，直⾄每个都当过测试集，然后将k个 结果求平均，就是最终结果。 3. ⾃助法（bootstrap ） 1. 基于”⾃助采样“的⽅法，也称：“有放回采样”、 “可重复采样” 2. 对数据集进⾏有放回采样，并且采样出的集合与原样本集同规模，但是数据分布有所改变 调参与最终模型 现实中常⽤的做法：对每个参数选定⼀个范围和变化步长，例如在[0，0.2] 范围内以 0.05 为步长，则实际要评估的候选参数值有5个，最 终是从这5个候选值中产⽣选定值.这是在计算开销和性能估计之间进⾏折中的结果，通过这个折中，学习过程才变得可⾏。参数调得好不好 往往对最终模型性能有关键性影响. 性能度量 回归任务最常⽤的性能度量是“均⽅误差”（mean squared error） 分类任务中常⽤的性能度量 ： 1. 错误度与精度（accuracy） 错误率是分类错误的样本数占样本总数的⽐例 精度则是分类正确的样本数占样本总数的⽐例 2. 查准率（precision）与查全率（recall） 查准率：在所预测类别中，预测正确的⽐例，分母是预测类别的样本数。 例如：挑出的西⽠中，有多少⽐例是好⽠ 查全率：在真实类别中，预测正确的⽐例，分母是真实类别的样本数。例如：所有好⽠中有多少⽐例被挑了出来 对于⼆分类问题，可将样例根据其真实类别与学习器预测类别的组合划分为真正例（true positive）、假正例（false positive）、真 反例（true negative）、假反例（false negative）四种情形，令TP、FP、TN、FN分别表⽰其对应的样例数，则显然有 TP+FP+TN+FN=样例总数。分类结果的“混淆矩阵”（confusion matrix）如下：