一个关于自动驾驶图像理解系统的技术性问题.pdf

一个关于自动驾驶图像理解系统的技术性问题 可靠的图像理解系统对于自动驾驶、医学成像等应用至关重要。对抗样本被 认为是一种有针对性的小型扰动。 约克大学和多伦多大学的研究者在本文中展示了另一种 扰动。与对抗样本相反，这些扰动不受范数的约束。它们把一幅图像中的物体放置（ 「移 植」）到另一幅图像的新位置。这种做法对目标检测器的结果有多种非局部影响，比如房 间里走动的大象让目标检测器把沙发认成椅子，或让杯子、书消失。本文通过一系列实验 证明了这一点，并提出了一些可能的解释。 实验 作者从一些定性结果开始。 图 1 （a）展示了一种当前最优目标检测方法 （具备 NASNet 骨 干网络 [20] 的 Faster-RCNN [9] ）应用于来自 Microsoft COCO 目标检测基准 [6] 的客厅 图像的结果，目标检测器是在该基准数据集上训练的。作者利用真实数据，从另一幅图像 中提取了一个目标（大象）及其掩码，并将其「移植」到客厅图像的不同位置上。作者把 移植的目标称为 T 。结果可以在图 1 b-i 中看到。当目标 T 沿着图像平移时，作者发现 了几个有趣的现象： 检测不稳定：目标有时无法被检测到，或者能够被检测到但置信度出现急剧变化。 目标 T 被检测到的身份不一致 （在图 1-f 中被当成椅子）：根据位置变化， 目标可能被检 测为各种不同的东西。 目标带来非局部影响：未与 T 重叠的目标可能会变换类别、边界框，或者完全消失。 图 1：在房间中检测一只大象。 （a）： 当前最优目标检测器在客厅图像里检测到多个目标； （b,d,e,g,i）：移植的目标（大象）在很多情况下和任意位置未被检测到 ; （f ）： 目标类别 被误认为是「椅子」 。该目标（大象）具有非局部影响，导致其它目标消失（图 d、f 中 的杯子， e、i 中的书）或变换类别（图 e 中的椅子被误认为是沙发） 。 论文