经典分类评价与衡量方法1-混淆矩阵.docVIP

实用文档 标准文案 分类（预测）评价指标 : 混淆矩阵,ROC，AUC 一、混淆矩阵（confusion matrix） 混淆矩阵（confusion matrix）刻画一个分类器的分类准确程度。“混淆”一词也形象地表达了分类器面对多个分类时可能造成的混淆。混淆矩阵是除了ROC曲线和AUC之外的另一个判断分类好坏程度的方法。 二元分类的混淆矩阵形式如下： ? ? 实际值? ? 样本总数 N Positive Negative 预测值 ? Positive TP 11 实际是Positive，预测成Positive的样本数，又叫true positive FP 01 实际是Negative，预测成Positive的样本数，又叫false positive Negative FN 10 实际是Positive，预测成Negative的样本数，又叫false negative TN 00 实际是Negative，预测成Negative的样本数，又叫true negative ? ? 实际Positive样本数=TP+FN 实际Negative样本数 N = FP + TN 其中，实际值也称为target, reference, actural。相应地，预测值为model, prediction, predicted。 此处二元分类标识为Positive和Negative，有时也标识为Normal/Abnormal, Accept/Reject或更简单的Yes/No， or 1/0。 下面是一个二元分类混淆矩阵的实例。一共有30张动物图片,其中13只猫，17只狗，一个二元分类器识别结果如下表。这就是一个简单的混淆矩阵。 ? ? 实际 ? ? Cat Dog 预测结果 ? Cat 10 2 Dog 3 15 有TP，FP，FN，TN后，可构造出很多指标，从不同角度反映分类器的分类准确程度，常用的有， 1）正确率（Accuracy）：正确分类数/样本总数，描述了分类器总体分类准确程度。 accuracy = (TP+TN)/N, N=TP+FP+FN+TN；上例中，accuracy = （10+15）/30 = 0.83 2) 真阳性率（True Positive Rate）: 如果一个实例类别是positive，分类器预测结果的类别也是positive的比例。这个指标也叫敏感度（sensitivity）或召回率（recall），描述了分类器对positive类别的敏感程度。 TPR = TP/(TP+FN) ；上例中，TPR = 10 /（10+3）=0.70 3) 假阳性率（False Positive Rate）：如果一个实例类别是negative，分类器预测结果的类别是positive的比例。这个指标也叫错检率（fallout）。 FPR = FP/(FP+TN) ； 上例中，FPR = 2/（2+15）=0.12 混淆矩阵(Confusion Matrix)（二分类） ACC:分类模型总体判断的准确率(包括所有class的总体准确率): 1: PPV:: 预测为1的准确率：阳性预测正确的次数/阳性预测的次数 1: TPR: 真实为1的准确率：阳性预测正确的次数/阳性真实值出现的次数 0: TNR: 真实为0的准确率：阴性预测正确的次数/阴性预测的次数 0: NPV: 预测为0的准确率：阴性预测正确的次数/阴性真实值出现的次数 :?对于某个分类，综合了Precision和Recall的一个判断指标，F1-Score的值是从0到1的，1是最好，0是最差 : 另外一个综合Precision和Recall的标准，F1-Score的变形 举个经典的二分类例子： ? ? ? ? ? ? ? ? ? ? ??0：，? ? ? 0:?， ? ? ? ? ? ?? 如果是多分类的呢？举一个三分类的例子： ， ? ??, ? ?? 因此，计算Specificity，Recall，Precision等只是计算某一分类的特性，而Accuracy和F1-Score这些是判断分类模型总体的标准。我们可以根据实际需要，得出不同的效果。 混淆矩阵（多分类） Confusion Matrix 混淆矩阵也称误差矩阵，是表示精度评价的一种标准格式，用n行n列的矩阵形式来表示。具体评价指标有总体精度、制图精度、用户精度等，这些精度指标从不同的侧面反映了图像分类的精度。?[1]??在人工智能中，混淆矩阵（confusion matrix）是可视化工具，特别用于 \t /item/%E6%B7%B7%E6%B7%86%E7%9F%A9%E9%98%B5/_blank 监督学习，在 \t /item/%E6%B7%B7%E6%B7%86%E7%9F%