对抗补丁的选择与位置的基准测试.pdfVIP

对抗补丁的选择与位置的基准测试

ShaiKimhiAviMendelsonMosheKimhi

TechnionTechnionTechnion

shai.kimhi@cs.technion.ac.ilmendlson@technion.ac.ilmoshekimhi@cs.technion.ac.il

Abstract大多数防御和评估协议都隐式地假设固定的放置

位置（例如图像的中心或角落），或者在少数示例[15,21]

对抗补丁攻击威胁到现代视觉模型的可靠性。我们提上探索联合位置-纹理优化。

出了补丁地图，这是第一个空间详尽无遗的补丁放置如果没有对空间漏洞进行系统的、大规模研究，研

本基准，通过在ImageNet验证图像上评估超过究人员就无法可靠地基准测试感知位置的攻击，也无

译次前向传递来构建。PatchMap揭示了系统性的“热点”法设计防御措施来防止最坏情况下的放置。

中区域，在这些区域内，小补丁（仅占图像的2%）会导致

1高信心的误分类和模型置信度大幅下降。为了展示其动机。考虑两个相同的补丁：一个贴在显眼的对象区域

v效用，我们提出了一种简单的分割引导放置启发式方上，另一个贴在背景上。直观地讲，前者将更强烈地扰

6

7法，该方法利用现成的掩码来识别易受攻击的区域而乱分类，然而现有的基准只提供了对该直觉的稀疏证

6无需任何梯度查询。在包括对抗训练的ResNet-50在据。全面的空间分析可以回答：自然图像中的哪些区域

1

0内的五种架构中，与随机或固定位置相比，我们的方法最容易受到影响？易感性如何随对象类别、补丁大小和

8.将攻击成功率提高了8–13个百分点。我们公开发布模型架构变化而变化？最重要的是，我们能否利用这些

012知识来发起更快、更有效的攻击而无需查询模型？

5了补丁映射和代码实现。完整的补丁地图基准（65

2亿次预测，多种后端）将在接受后发布，以进一步加速补丁映射。我们引入了补丁地图，这是第一个空间详尽

:

v位置感知防御和自适应攻击的研究。对抗补丁放置基准。从ImageNet-Patch数据集的十个

i

x

r可迁移补丁[12]开始，我们将每个补丁粘贴在每个步长

a钉。

为2的位置以及三个尺度因子（50,25,10像素）上，应

用于所有50个kImageNet-1K验证图像。这在标准的

1.介绍

ResNet-50上产生了超过次前向传递，记录

深度神经网络在许多视觉基准测试中已经实现了了每个位置的预测标签和softmax置信度。这些密集的

接近人类的准确率，但它们仍然对小的、局部的扰动非“脆弱性图”揭示了稳定的热点区域，量化了信心崩溃

常脆弱。特别是，对抗补丁打印的贴纸或海报可以物理模式，并揭露了先前小规模研究中不可见的空间模式。

地应用于场景，已被证明可以可靠地欺骗数字和现实

世界环境中的分类器和检测器[1,3,18]。它们的实际威贡献

胁范围涵盖自动驾驶汽车、监控系统和