探索前沿低参数视觉模型中的叠加和干涉现象-计算机科学-低参数神经网络-计算机视觉.pdfVIP

The38thCanadianConferenceonArtificialIntelligence

DOI:

探索前沿低参数视觉模型中的叠加和干涉现象

†,†‡†

莉丽安·霍拉德，卢卡斯·莫伊蒙特，娜塔莉·加沃，路易斯-昂杰洛·斯特凡内尔

†法国兰斯香槟-阿尔登大学，法国原子能和替代能源委员会，LRCDIGIT，LICIIS，兰斯，法国

‡法国兰斯香槟-阿尔登大学，国家农业、食品和环境研究所，RIBPUSC1488，兰斯，法国

摘要

论文研究了最先进的低参数深度神经网络在计算机视觉方面的性能，重点关注瓶颈架构及

其使用超线性激活函数的行为。我们解决了特征图中的干扰问题，这种现象与叠加有关，其中

神经元同时编码多个特性。我们的研究表明，限制干扰可以提高非常小规模网络（少于150万

参数）的扩展性和准确性。通过检查各种瓶颈架构，我们确定了减少干扰的关键设计元素，从

而构建了一个更高效的神经网络。因此，我们提出了一种名为NoDepthBottleneck的概念验

证架构，该架构基于我们的实验机制见解构建，并在ImageNet数据集上展示了稳健的缩放精

本度。这些发现有助于提高低参数范围内的神经网络效率和可扩展性，并推进了计算机视觉中瓶

译颈的理解。/pub/3dh6rsel

关键词：低参数神经网络，神经网络架构，机制可解释性，计算机视觉

中

1

v

81.介绍

9

7

5理解深度神经网络的机制行为，特别是在高维空间中，仍然是一个重大挑战。研究人员

1需要精确了解为了达到特定水平的准确性所需参数、滤波器和权重的数量。这种不确定性在

.

7计算机视觉领域尤为明显，图像数据自然具有不可预测性，使得确定去除特征所需的精确信

0

5息量变得困难。如果我们能够理解不同的神经网络架构如何表现，就可以优化并减少给定任

2务所需的参数数量。

:

v减少参数在机器人视觉和边缘AI等领域至关重要，在这些领域中，降低计算成本对于

i

x实现在低功耗设备上的实时推理是必不可少的。虽然边缘AI相对于基于云的解决方案提供

r

a了优势——改进了安全性、减少了延迟并降低了数据传输成本[1]——但在资源受限硬件上

部署深度学习模型需要高效的神经网络架构。这一需求导致了移动友好型神经网络的兴起，

这些网络使用较少的参数和计算优化来保持性能。

代替仅依赖昂贵的神经架构搜索（NAS）技术来减少参数，一个新兴的方向涉及机制可

1

解释性——具体来说，就是叠加的概念[2]。叠加描述了神经网络如何能够表示超出其可用

维度允许的更多特征，从而导致多语义神经元——即单个神经元编码多个特征。

理解像CIFAR[3]或ImageNet[4]分类这样的复杂任务中的叠加现象几乎是不可能的，

尤其是在深度神经网络中。因此，与其观察叠加是如何发生的，我们提出一种逆向方法：我

们研究在试图防止叠加时神经网络架构的行为。

我们的工作探讨了计算机视觉中瓶颈架构（倒置、沙漏和类似ConvNeXt的瓶颈）的机