1. 概述

在本教程中,我们将介绍用于评估目标检测模型的重要指标——平均精度均值(mean Average Precision, mAP)。我们会先简要介绍目标检测任务的基本概念,接着讲解重叠度量标准(IoU)、精确率(Precision)与召回率(Recall),最后详细说明如何计算 mAP。

2. 目标检测

目标检测的目标是在图像中定位并识别出所包含的物体。这是计算机视觉中最核心的任务之一,广泛应用于自动驾驶、安防、零售和医疗等领域。

目标检测通常包括两个关键步骤:

物体定位(Object Localization):预测图像中一个或多个物体的位置,并为每个物体绘制边界框(bounding box)
图像分类(Image Classification):预测每个边界框中物体的类别

因此,一个目标检测系统输入一张包含多个物体的图像,输出是多个边界框及其对应的类别标签。目标检测也被称为目标识别(object recognition)。

下图展示了一个目标检测系统的典型输出(输入为一张道路图像):

object detection

可以看到,系统成功地定位了六个物体,并将它们正确分类为交通灯、卡车和汽车。

近年来,出现了许多性能优异的深度学习模型,如 R-CNNYOLO。为了评估这些模型的性能,我们需要一个标准化的评估指标,mean Average Precision(mAP) 就是最常用的指标之一。

3. 重叠度量标准(IoU)

计算 mAP 的第一步是衡量预测边界框与真实边界框之间的重叠程度。最常用的度量标准是交并比(Intersection over Union, IoU)

公式如下:

$$ \mathbf{IoU = \frac{A \land B}{A \lor B}} $$

其中:

  • $ A \land B $ 表示两个框的交集面积
  • $ A \lor B $ 表示两个框的并集面积

下图形象地展示了 IoU 的定义:

img 6241d1299333d

IoU 的取值范围在 0 到 1 之间:

  • 0 表示完全不重叠
  • 1 表示完全重合

为了判断一次检测是否成功,我们通常设定一个阈值,比如 0.5。当 IoU ≥ 0.5 时,认为预测是成功的。

下图展示了不同预测结果的 IoU 计算情况,只有最后一组预测被认为是成功的:

iou examples

4. 精确率与召回率

有了 IoU 作为判断检测是否成功的标准后,我们可以将目标检测问题转化为一个二分类问题:

  • 正样本(Positive):IoU ≥ 阈值的预测框
  • 负样本(Negative):IoU < 阈值的预测框

在二分类问题中,预测结果可以分为以下四类:

实际 预测 名称
真阳性(TP)
假阴性(FN)
假阳性(FP)
真阴性(TN)

在此基础上,我们定义了两个重要指标:

召回率(Recall):模型识别出所有真实目标的能力
$$ \mathbf{R = \frac{TP}{TP+FN} = \frac{\text{成功检测}}{\text{所有真实目标}}} $$

精确率(Precision):模型预测出的目标中,有多少是真正相关的
$$ \mathbf{P = \frac{TP}{TP+FP} = \frac{\text{成功检测}}{\text{所有预测目标}}} $$

我们通常希望模型同时具备高精确率和高召回率。为了综合评估这两项指标,我们会绘制精确率-召回率曲线(Precision-Recall Curve)

在这条曲线上,我们通过在不同置信度阈值下的精确率和召回率值,计算出平均精度(Average Precision, AP)

$$ \mathbf{AP = \frac{1}{11} \sum_i p(i)} $$

其中 $ i \in [0, 0.1, ..., 1] $,$ p(i) $ 表示当召回率为 $ i $ 时的精确率。

5. 平均精度均值(mAP)

到目前为止,我们只考虑了单个类别的 AP。但目标检测不仅要定位物体,还要识别其类别。

因此,我们需要对每个类别分别计算 AP,最终得到 $ c $ 个 AP 值($ c $ 为类别数量),然后取平均得到 mAP:

$$ \mathbf{mAP = \frac{1}{c} \sum_{i=1}^c AP_i} $$

其中 $ AP_i $ 表示第 $ i $ 类的平均精度。

mAP 是一个综合衡量模型在多个类别上的定位与分类能力的指标。数值越高,表示模型性能越好。

6. 小结

在本教程中,我们系统地介绍了目标检测中常用的评估指标——mAP(平均精度均值)

  • 目标检测包含定位与分类两个子任务
  • IoU 是衡量预测框与真实框重合程度的标准
  • 使用精确率和召回率评估模型性能
  • AP 是精确率-召回率曲线下的平均值
  • mAP 是所有类别 AP 的平均值,是综合性能指标

掌握 mAP 的计算原理,有助于我们更准确地评估和优化目标检测模型。在实际项目中,理解这些指标也有助于调参和调试模型表现。


原始标题:Mean Average Precision in Object Detection