1.4性能度量电子课件.pdf

性能度量

主讲人：李侃

绪论

误差误差（error）指的是模型输出与真值（labels）的偏离程度，

通常定义一个损失函数（lossfunction）来衡量误差的大小。

在训练集上的产生误差称为经验误经验误差的大小反映了模型在

差（empiricalerror）或者训练误差训练数据上拟合效果的好坏

模型在未知样本上的误差称为泛化

泛化误差用于衡量训练好的模

误差（generalizationerror），通常

型对未知数据的预测能力

将测试误差作为泛化误差的近似值

绪论

过拟合与欠拟合

过拟合（overfitting）

模型在训练样本中表现得过于优越，导致在

验证数据集以及测试数据集中表现不佳。

欠拟合（under-fitting）

指模型在训练和预测时表现得都不好。

绪论

评估方法

常见方法：

留出法（hold-out）

交叉验证法（crossvalidation）

自助法（bootstrap）

评估方法

留出法数据集D

ST

训练集S测试集T

已有的数据集分为两个互斥的部分

保证数据分布一致

测试集比例一般保持在1/3～1/5

评估方法

交叉验证法

模型1模型2模型m

NNNN

……

1112

N2N2N2N3

……

N3N3

训练

……

…

DN4

Nk-2Nk-1

mN5

NNN

…

个