目标检测的评估指标mAP的那些事儿.pdfVIP

⽬标检测的评估指标mAP 的那些事⼉ 对于使⽤机器学习解决的⼤多数常见问题，通常有多种可⽤的模型。每个模型都有⾃⼰的独特之处，并 随因素变化⽽表现不同。每个模型在“验证/测试”数据集上来评估性能，性能衡量使⽤各种统计量如准确 率（accuracy），精确率（precision ），召回率（recall ）等。选择的统计量通常针对特定应⽤场景和⽤ 例。 对于每个应⽤场景，选择⼀个能够客观⽐较模型的度量指标⾮常重要。本⽂将介绍⽬标检测 （Object Detection）问题中的最常⽤评估指标-Mean Average Precision(平均精确率) ，即mAP。⼤多数时 候，这些指标很容易理解和计算。例如，在⼆元分类中，精确率和召回率是⼀个⼀个简单直观的统计 量。然⽽，⽬标检测是⼀个⾮常不同且有趣的问题。即使你的⽬标检测器在图⽚中检测到猫，但如果你 ⽆法定位，它也没有⽤处。由于你要预测的是图像中各个物体是否出现及其位置，如何计算mAP将⾮常 有趣。 在讲解mAP之前，我们先定义⽬标检测问题。⽬标检测问题 在⽬标检测问题中，给定⼀个图像，找到它所包含的物体，找到它们的位置并对它们进⾏分类。⽬标检 测模型通常是在⼀组特定的类集合上进⾏训练的，所以模型只会定位和分类图像中的那些类。另外，对 象的位置通常采⽤矩形边界框表⽰。因此，⽬标检测涉及图像中物体的定位和分类。 下⾯所述的Mean Average Precision特别适⽤于同时预测物体位置及类别的算法。 因此，从图1可以看 出，它对评估定位模型、⽬标检测模型和分割模型⾮常有⽤。 评估⽬标检测模型 mAP?mAP! ⽬标检测问题中的每个图⽚都可能包含⼀些不同类别的物体。如前所述，需要评估模型的物体分类和定 位性能。因此，⽤于图像分类问题的标准指标precision不能直接应⽤于此。 这就是为什么需要mAP。 Precision =TP +FP TP Recall =TP +FN TP Ground Truth 对于任何算法，评估指标需要知道ground truth （真实标签）数据。 我们只知道训练、验证和测试数据集 的ground truth。对于⽬标检测问题，ground truth包括图像中物体的类别以及该图像中每个物体的真实边 界框。 这⾥给出了⼀个实际图⽚（jpg 、png等格式），以及相应的⽂本注释（边界框坐标 (x, y, w, h) 和类别 c），如图中红⾊框以及⽂本标签所⽰。 对于这个特殊例⼦，模型在训练时需要原始的图⽚： 以及ground truth的3个坐标及类别（这⾥假定图⽚⼤⼩是1000x800px，所有的坐标值都是以像素为单位的 近似值）： 下⾯让我们动⼀下⼿，去看如何计算mAP。这⾥我们不谈论不同的⽬标检测算法，假定我们已经有了⼀ 个训练好的模型，现在只需要在验证集上评估其性能。 mAP含义及计算 前⾯展⽰了原始图像和以及对应的ground truth。训练集和验证集中所有图像都以此⽅式标注。 训练好的⽬标检测模型会给出⼤量的预测结果，但是其中⼤多数的预测值都会有⾮常低的置信度 （confidence score），因此我们只考虑那些置信度⾼于某个阈值的预测结果。 将原始图⽚送⼊训练好的模型，在经过置信度阈值筛选之后，⽬标检测算法给出带有边界框的预测结 果： 现在，由于我们⼈类是⽬标检测专家，我们可以知道这些检测结果⼤致正确。但我们如何量化呢？我们 ⾸先需要判断每个检测的正确性。这⾥采⽤IoU （Intersection over Union），它可以作为评价边界框正确 性的度量指标。 这是⼀个⾮常简单的指标。从名称看，有些⼈会发现这个名字是⾃解释的，但我们需要 更好的解释。这⾥会以简短的⽅式解释IoU。 IoU （交并⽐） IoU是预测框与ground truth的交集和并集的⽐值。这个量也被称为Jaccard指数，并于20世纪初由Paul Jaccard⾸次提出。为了得到交集和并集，我们⾸先将预测框与ground truth放在⼀起，如图所⽰。 对于每个类，预测框和ground truth重叠的区域是交集，⽽横跨的总区域就是并集。其中horse类的交集和 并集如下图所⽰（这个例⼦交集⽐较⼤）： 其中蓝绿⾊部分是交集，⽽并集还包括橘⾊的部分。那么，IoU可以如下计算： 鉴别正确的检测结果并计算precision和recall 为了计算precision和recall ，与所有机器学习问题⼀样，我们必须鉴别出True Positives （真正例）、False Positives （假正例