数据智能与应用 (11).pptVIP

第三章数据智能之利器

第二节模型评估1

2二、模型评估

3.2.1过拟合与欠拟合拟合：拟合是指逼近目标函数的远近程度。过拟合：过拟合是指学习时选择的模型所包含的参数过多，以致于出现这一模型对已知数据预测得很好，但对未知数据预测得很差的现象，即在训练集上表现好，但是在测试集上效果差。欠拟合：欠拟合指的是模型不能在训练集上获得足够低的训练误差，在训练集上表现效果差，没有充分的利用数据，预测的准确度低。

3过拟合：当训练数据不够多或者over-training时，经常会导致over-fitting（过拟合），如下图所示：M次多项式过拟合例子二、模型评估

4二、模型评估

过拟合的根本原因：特征维度过多；模型假设过于复杂，参数过多；训练数据过少；噪声过多等；由于以上等原因导致拟合的函数完美的预测训练集，但对新数据的测试集预测结果差。

5二、模型评估

过拟合的解决办法：1.交叉验证2.正则化;3.数据增强;4.Dropout：5.Earlystopping：6.Bagging；7.数据清洗。

66二、模型评估

欠拟合：模型没有很好地捕捉到数据特征，不能很好地拟合数据，如下图所示：

7二、模型评估

欠拟合的根本原因：特征维度过少，模型过于简单，导致拟合的函数无法满足训练集，误差较大；因此需要增加特征维度，增加训练数据。欠拟合的解决办法：1.添加其他特征项；2.添加多项式特征；3.减少正则化参数：

8二、模型评估

3.2.2分类评价指标前提：假设只有两类-正类（positive）和负类（negative），通常以关注的类为正类，其他类为负类（故多类问题亦可归纳为两类）混淆矩阵（Confusionmatrix）如下：精确率Precision:定义：判定为正例中真正正例数与判定为正例数之比；表示方法：?

9二、模型评估

3.2.2分类评价指标召回率Recall:定义：被正确判定为正例数与总正例数之比；表示方法：准确率Accuracy:定义：正确分类的样本数与总样本数之比；表示方法：??

10二、模型评估

3.2.2分类评价指标F值：定义：准确率与召回率的调和平均；表示方法：???

11二、模型评估

3.2.3回归评价指标均方误差MSE:定义：观测值与真值偏差的平方和与观测次数的比值；表达方法：均方根误差RMSE：定义：标准误差是均方误差的算术平方根，均方根误差是用来衡量观测值同真值之间的偏差；表达方法：??

12二、模型评估

3.2.3回归评价指标平均绝对误差MAE：定义：平均绝对误差是绝对误差的平均值；表达方式：平均绝对百分比误差MAPE定义：相当于加权版的MAE；表达方法：??

13Thanks!