模型评估方法以及评估指标——准确率、精确率、召回率以及P-R曲线和ROC曲线介绍.pdfVIP

模型评估⽅法以及评估指标——准确率、精确率、召回率以及P-R曲线和ROC曲 线介绍 模型评估⽅法以及评估指标——准确率、精确率、召回率以及P-R曲线和ROC曲线介绍 前⾔ ”没有测量，就没有 学 “ 在机器学习中，只有选择与问题相匹配的评估⽅法，才能快速地发现模型选择或训练过程中出现的问题，迭代地对模型进⾏优化。模型评估 主要是离线评估和在线评估两个阶段，本⽂整理了常见的模型评估⽅法以及⼀些模型评估指标的介绍，以供学习查阅。 ⼀、准确率、精确率、召回率 准确率、精确率、召回率是评估模型中常见的三个指标，以下表为例，我们来对这三个指标进⾏介绍 yy\\yy__pprreedd 预预测测为为合合格格((00)) 预预测测为为不不合合格格((11)) 合合计计 合格(0) 182(True Positive) 18(False Negatice) 200 不合格(1) 26(False Positive) 174(True Negative) 200 合计 208 192 400 上表中显⽰了模型对产品进⾏是否合格的预测结果，产品共400件。 1.1 准确率(Accuracy) 准确率是指分类正确的样本占总样本个数的⽐例，即 Accuracy = ncorrect/ntotal 其中ncorrect为被正确分类的样本个数，ntotal为总样本的个数。以上表为例，则预测产品是否合格的模型的准确率为acc = (182 + 174)/400 ∗ 100% = 89.0% 准确率是分类问题中最简单也是最直观的评价指标，但存在明显的缺陷，⽐如当样本分布不均，负样本占99%时分类器把所有样本都预测为 负样本，这样分类器都能有99%的准确率，显然是不准确的，当不同类别的样本⽐例⾮常不均衡时占⽐⼤的类别往往成为影响准确率的最主 要因素。 1.2 精确率(Precision) 精确率是指分类正确的正样本个数占分类器判定为正样本的样本个数的⽐例，即P recision = T P /(T P + F P ) 在上表中，模型对应的精确率p re = 182/(182 + 26) ∗ 100% = 87.5% 1.3 召回率(Recall) 召回率是指分类正确的正样本个数占真正的正样本个数的⽐例，即Recall = T P /(T P + F N ) 在上表中，模型对应的精确率rec = 182/(182 + 18) ∗ 100% = 91.0% Precision值和Recall值是既⽭盾⼜统⼀的两个指标，为了提⾼Precision值，分类器需要尽量在”更有把握 “时才把样本预测为正样本，但 因此往往会因为过于保守⽽漏掉很多”没有把握 “的正样本，导致Recall值降低。 考虑道Precision和Recall的这种⽭盾性，引⼊F1值作为综合指标，来平衡平衡准确率和召回率的影响，计算公式为 ：F 1score = 2 × p recision × recall/(p recision + recall) ⼆、P-R曲线和ROC曲线 2.1 P-R曲线 P − R曲线刻画查准率(精确率p recision)和查全率(召回率recall)之间的关系，⼀般的情况下，通过模型可以计算出样本是正样本的概率p ，这个概率如果⼤于我们设定的阈值，那么模型预测这条数据就是正样本，如果p ⼩于设定的阈值，说明以这个样本的特征还不⾜以判定它 为正样本，模型判定该数据为负样本。逐步从⼩到⼤调整这个阈值就可以得到⼀系列阈值下模型的精确率和召回率，以精确率作为纵坐标， 召回率作为横坐标，绘图得到的图形就是P − R曲线图，如下图所⽰ ： 由图可见，当召回率接近于0时，模型A的精确率为0.9 ，模型B的精确率是1，这说明模型B得分前⼏位的样本全部是真正的正样本，⽽模型 A即使得分最⾼的⼏个样本也存在预测错误的情况。并且随着召回率的增加，精确率整体呈下降趋势。但是，当召回率为 1时，模型A的精确 率反⽽超过了模型B。这充分说明只⽤某个点对应的精确率和召回率是不能全⾯地衡量模型的性能，只有通过P − R曲线的整体表现