性能评估不平衡数据集应该使用何种指标一手资源.pdfVIP

APP

16｜性能评估：不平衡数据集应该使用何种评估指标？

2021-10-04

《零基础实器学习》课程介绍

讲述：



时长25:36大小23.46M

你好，我是欢迎来到零基础实器学习。

上一讲中，我们通过逻辑回归和深度学习神经网络两种模型，判断了会员流失的可能性，

准确率大概在78%左右。考一考你，这个准确率是否能够反映出模型的分类性能？

也许你会回答，看起来没什么问题啊。但是，如果我告诉你，对于这个数据集来说，即使

不用任何机器学习模型，我闭着眼睛也能够达到70%以上的预测准确率。你会不会吓一

跳，说，这怎么可能呢？

其实，如果你仔细观察一下这个数据集已经流失和留存下来的会员比例，就会发现，在这

其实如果你仔细观察一下这个数据集已经流失和留存下来的会员比例就会发现在这

个数据集中，留下的会员是73%，而已经离开的会员占27%。

1/19

流失与否？

这也就是说，如果我直接提出一个模型，判断所有的会员都会留存，那我这个模型的预测

准确率就是73%。所以说，要达到70%以上的预测准确率，真的是没有什么难度。

我再举一个一点的例子，在银行客户行为的检测系统中，存在行为的客户可

能不到万分之一。那么，一个模型只要预测所有的客户都没有行为，这个模型的准确

率就能达99.999%。

23%的可能流失的客户，才是关键所在。

因此，评估分类模型要比评估回归模型的难度大很多，评估的方法也更为多样化，尤其是

对于各类别中样本数量并不平衡的数据集来说，我们绝对不能单用准确率这一个方面作为

考量的标准。

那么，什么指标才更合适呢？这里，我给你介绍四个重要的分类评估方法。这四个分类评

估方法和分类准确率一样，可以广泛适用于几乎所有的分类问题，尤其是对于样本类别不

平衡的问题来说，这些方法比准确率更为客观。

2/19

矩阵

在认识第一种评估方法“矩阵”（ConfusionMatrix）之前，我们先来看一个例子。

假设“易速鲜花”一共有100个会员（举个例子而已），其中73个留存了下来，27个流

失了。那么，我们就可以这样表示这个数据集的真值：

如果这时候有一个模型A，它的预测结果是77个留存，23个流失。那么，上面这就

会变成这样：

要想知道这个模型A预测得准，我们就要看一下在这77个留存用户和23个流失用户

中，有多少是预测正确的，多少是错误的。但是，在现有的表格中，我们并不能了解到。

所以现在，我们不妨引入这样一个矩阵：

3/19

这是一个由预测值和真值共同组成的矩阵，四个象限从上到下，从左到右分别为：

真负：真值为负、预测为负，即TrueNegative，缩写为TN；

假正：真值为负，预测为正，即FalsePositive，缩写为FP；

假负：真值为正，预测为负，即FalseNegative，缩写为FN；

真正：真值为正，预测为正，即TruePositive，缩写为TP。

这个矩阵就是矩阵，这里的