目标检测RCNN到SSD学习工作总结.pdf

第一部分从 RCNN 开始介绍基于候选区域的目标检测器，包括 Fast R-CNN 、 Faster R- CNN 和 FPN 等。第二部分则重点讨论了包括 YOLO 、SSD 和 RetinaNet 等在内的单次检 测器。 深度学习目标检测模型全面综述： Faster R-CNN 、R-FCN 和 SSD 从零开始 PyTorch 项 目：YOLO v3 目标检测实现像玩乐高一样拆解 Faster R-CNN ：详解目标检测的实现过程 后 RCNN 时代的物体检测及实例分割进展物体检测算法全概述：从传统检测方法到深度神 经网络框架 基于候选区域的目标检测器 滑动窗口检测器 一种用于目标检测的暴力方法是从左到右、从上到下滑动窗口，利用分类识别目标。为了 在不同观察距离处检测不同的目标类型，我们使用不同大小和宽高比的窗口。 滑动窗口（从右到左，从上到下）根据滑动窗口从图像中剪切图像块。由于很多分类器只 取固定大小的图像，因此这些图像块是经过变形转换的。但是，这不影响分类准确率，因 为分类器可以处理变形后的图像。将图像变形转换成固定大小的图像。变形图像块被输入 CNN 分类器中，提取出 4096 个特征。之后，我们使用 SVM 分类器识别类别和该边界框 的另一个线性回归器。 滑动窗口检测器的系统工作流程图。我们创建很多窗口来检测不同位置的不同目标。要提 升性能，一个简单的办法就是减少窗口数量。 选择性搜索 用候选区域方法（ region proposal method ）创建目标检测的感兴趣区域（ ROI ）。在选 择性搜索（ selective search ，SS）中，首先将每个像素作为一组。然后，计算每一组的 纹理，并将两个最接近的组结合起来。但是为了避免单个区域吞噬其他区域，我们首先对 较小的组进行分组。我们继续合并区域，直到所有区域都结合在一起。下图第一行展示了 如何使区域增长，第二行中的蓝色矩形代表合并过程中所有可能的 ROI 。（ 作者为了保证 能够划分的完全，对于相似度，作者提出了可以多样化的思路，不但使用多样的颜色空间 （RGB ，Lab ，HSV 等等），还有很多不同的相似度计算方法。论文考虑了颜色、纹理、 尺寸和空间交叠这 4 个参数 ） R-CNN R-CNN 利用候选区域方法创建了约 2000 个 ROI 。这些区域被转换为固定大小的图像， 并分别馈送到卷积神经网络中。该网络架构后面会跟几个全连接层，以实现目标分类并提 炼边界框。 使用候选区域、 CNN 、仿射层来定位目标。 以下是 R-CNN 整个系统的流程图： 通过使用更少且更高质量的 ROI ， R-CNN 要比滑动窗口方法更快速、更准确。 边界框回归器 候选区域方法有非常高的计算复杂度。为了加速这个过程，通常会使用计算量较少的 候选区域选择方法构建 ROI ，并在后面使用线性回归器（使用全连接层）进一步提炼边界 框。使用回归方法将蓝色的原始边界框提炼为红色的。 Fast R-CNN R-CNN 需要非常多的候选区域以提升准确度，但其实有很多区域是彼此重叠的，因 此 R-CNN 的训练和推断速度非常慢。如果我们有 2000 个候选区域，且每一个都需要独 立地馈送到 CNN 中，那么对于不同的 ROI ，我们需要重复提取 2000 次特征。 此外， CNN 中的特征图以一种密集的方式表征空间特征，那么我们能直接使用特征图代 替原图来检测目标吗？ 直接利用特征图计算 ROI 。 Fast R-CNN 使用特征提取器（ CNN ）先提取整个图像的特征，而不是从头开始对每个图 像块提取多次。然后，我们可以将创建候选区域的方法直接应用到提取到的特征图上。例 如， Fast R-CNN 选择了 VGG16 中的卷积层 conv5 来生成 ROI ，这些关注区域随后会结 合对应的特征图以裁剪为特征图块，并用于目