分类模型的评价指标.pdfVIP

分类模型的评价指标

对于分类模型，常⽤的指标有混淆矩阵、ROC曲线，AUC值，KS曲线以及KS值、Lift图，Gain图等：

混淆矩阵确截断点后，评价学习器性能

1.

假设训练之初以及预测后，⼀个样本正例还反例已经确的，这个时候，样本应该有两个类别值，⼀个真实的0/1，⼀个预测的0/1

TP（实际为正预测为正），FP（实际为负但预测为正），TN（实际为负预测为负），FN（实际为正但预测为负）

通过混淆矩阵我们可以给出各指标的值：

准确率：反映分类器统对整个样本的判能⼒，能将正的判为正，负的判为负的能⼒，计算公式：Accuracy=(TP+TN)/(TP+FP+TN+FN)

精确率：P=TP/(TP+FP)；系统检索到的相关⽂件/系统所有检索到的⽂件总数

召回率：R=TP/(TP+FN)=TP/P；系统检索到的相关⽂件/系统所有相关的⽂件总数，准确率和召回率互相影响的，理想情况下肯做到两者都

⾼，但⼀般情况下准确率⾼、召回率就低，召回率低、准确率⾼，当然如果两者都低，那什么地⽅出问题了。

特异性：描述真阴(没病)率的百分率，特异性越⾼，即1-特异度越低,误诊率越少；负样本的精准率(预测的负的正确的占预测负的总数的)：=TN/

(FP+TN)=TN/N

敏感度：描述真阳(有病)率的百分数，敏感度越⾼,漏诊病例越少;正样本的精准率(预测的正的正确的占预测正的总数的)：TPR=TP/(TP+FN)=TP/P

F1值为精确率和召回率的调和均值,F1分数：F1=2*P*R/(P+R)

2.ROC曲线，AUC评价学习器性能，检验分类器对客户进⾏正确排序的能⼒

分类器产⽣的结果通常⼀个概率值不直接的0/1变量，通常数值越到，代表正例的可能性越⼤。根据任务的不同也会采取不同的“截断点”，⼤于则

为正例，⼩于则为反例。如重视查全率，则阈值可以设置低⼀些；⽽重视查准率，阈值可以设置⾼⼀些。如果设了截断点或明确了任务，那么我们根据

混淆矩阵就可以知道分类器的效果好坏。在未设截断点（任务不明确）情况下，我们如何评价⼀个分类模型的效果的好坏或者⽐较不同分类模型效

果？我们可以观察这个学习器利⽤所有可能的截断点（就所有样本的预测结果）对样本进⾏分类时的效果，注意要先对所有可能的截断点进⾏排序，⽅

便对⽐观察。

曲线描绘的不同的截断点时，并以和为横纵坐标轴，描述随着截断点的变⼩，随着的变化。

ROCFPRTPRTPRFPR

纵轴敏感度：TPR=正例分对的概率=TP/(TP+FN)，其实就查全率

横轴1-特异性：FPR=负例分错的概率=FP/(FP+TN),1-特异性

如果随机分类，没有进⾏任何学习器，FPR=TPR，即正例分对和负例分错概率相同，预测出来的正例负例和正例负例本⾝的分布⼀致的，所以

⼀条45°的直线。因此，ROC曲线越向上远离这条45°直线，说明⽤了这个学习器在很⼩的代价（负例分错为正例，横轴）下达到了相对较⼤的查全率

（TPR）。

判断标准：

1.⼀个ROC曲线完全”包住“另⼀个ROC曲线第⼀个学习器效果更好

2.两个ROC曲线相交利⽤ROC曲线下的⾯积（AUC，areaunderROCcurve，⼀个数值)进⾏⽐较

曲线，值学习器将正例和反例分开的能⼒，确最好的截断点

3.KSKS“”

KS曲线和ROC曲线都⽤到了TPR，FPR。KS曲线把TPR和FPR都作为纵坐标，⽽样本数作为横坐标。

作图步骤：

1.根据学习器的预测结果（注意，正例的概率值，⾮0/1变量）对样本进⾏排序（从⼤到⼩）这就截断点依次选取的顺序

2.按顺序选取截断点，并计算TPR和FPR也可以只选取n个截断点，分别在1/n，2/n，3/n等位置

3.横轴为样本的占⽐百分⽐（最⼤100%），纵轴分别为TPR和FPR，可以得到KS曲线

4.TPR和FPR曲线分隔最开的位置就最好的”截断点“，最⼤间隔距离就KS值，通常0.2即可认为模型有⽐较好偶的预测准确性

4.Lift和Gain图

个⼈认为前