【动态卷积领域的发展概况文献综述3400字】 .docxVIP

动态卷积领域的发展概况文献综述

目前关于该领域的研究有很多优秀的思想，YizengHan等人曾做全面系统的介绍，主要将动态卷积网络分为三类：样本自适应，空间自适应以及时间自适应动态卷积网络[8]。

样本自适应动态卷积网络是最为常见的动态卷积网络，模型通过针对不同输入样本，自适应调整其结构或参数。根据网络动态变化的主体不同可以将其分为动态结构和动态参数两大类。动态结构在处理简单样本时分配更少的计算资源从而提升运算效率，而后者则主要是尽可能少增加计算量来提升模型的表达能力。其中谷歌提出一种条件卷积CondConv[9],它可以为每个样例学习一个特定的卷积核参数，通过替换标准卷积，CondConv可以提升模型的尺寸与容量，同时保持高效推理。相比已有标准卷积神经网络，基于CondConv的网络在精度提升与推理耗时方面取得了均衡(即精度提升，但速度持平)。在ImageNet分类问题中，基于CondConv的EfficientNet-B0取得了78.3%的精度且仅有413M计算量。该算法的核心思想是将CondConv中的卷积核参数化为多个专家的线性组合。CondConv等价于多个静态卷积的线性组合。因此它具有与n个专家同等的容量，但计算更为高效。而这其中最关键是：加权参数，作者通过一定的步骤来确定加权参数，它必须具有数据依赖，否则CondConv将等价于静态卷积。为更有效的提升模型容量，在网络设计过程中可以提升专家数量，这比提升卷积核尺寸更为高效，同时专家只需要进行一次组合，这就可以在提升模型容量的同时保持高效推理。与谷歌提出的条件卷积类似的还有微软AI认知服务团队提出的动态卷积，与传统的静态卷积(每层单个卷积核)相比，根据注意力动态叠加多个卷积核不仅显著提升了表达能力，额外的计算成本也很小，因而对高效的CNN更加友好，同时可以容易地整合入现有CNN架构中。该动态卷积没有在每层上使用单个卷积核，而是根据注意力动态地聚合多个并行卷积核。注意力会根据输入动态地调整每个卷积核的权重，从而生成自适应的动

态卷积。由于注意力是输入的函数，动态卷积不再是一个线性函数。通过注意力以非线性方式叠加卷积核具有更强的表示能力。动态卷积网络引入了两部分的额外计算：注意力模型和卷积核的叠加。注意力模型计算复杂度很低，由avgpool和两层全卷积组成。得益于小的内核尺寸，叠加多个卷积核在计算上也非常高效。动态卷积神经网络的难点在于共同学习多个卷积核以及注意力模型。该论文提出，通过限制注意力的取值来简化注意力模型的学习；限制注意力取值从而限制多个卷积的叠加核的取值空间。论文将注意力取值限制在0与1之间，同时所有注意力和为1。其次，限制注意力接近均匀分布，这有利于多个卷积核在训练初期同时学习，对于这个要求，将温度淬火(temperatureanneling)引入该结构从而进一步提升准确度。

已经有研究表明输入中不同空间位置对CNN的最终预测起着不同作用[10],所以做一个精确的预测，可能只需要自适应的处理输入中一部分空间位置，而无需对整张输入图像的不同位置进行相同计算量的运算。且研究表明对输入图像使用低分辨率也能取得不错的准确率[11],为此空间自适应动态卷积网络从空间角度对输入图像进行自适应推理，根据动态运算的粒度，主要分为像素级、

区域级以及分辨率级，其中最常见的类型是像素级动态卷积网络，对输入特征图的每个空间位置进行自适应计算，可行遍卷积则是像素级动态卷积网络的一种，对于每个像素点，在整张特征图中进行采样作为其卷积操作的邻域从而参与卷积计算，比较有代表性的一种是针对模糊特征域提出的Fuzzy_SAC算法[12],该算子利用模糊逻辑来减少不确定性和噪声，将模糊c均值聚类方法[13]应用于图像分割，较非模糊方法具有更好的鲁棒性；而将模糊逻辑应用到U-Net中[14],以处理卷积特征图中的不确定性和噪声。一种新的模糊块可以在U-Net的5个卷积块中找到不确定的像素点，降低这些像素点的不确定性；与以往的深度学习方法相比，该方法在总线图像分割中取得了更好的效果。模糊逻辑可以提供原始特征域无法获得的更多信息。该算子有两个贡献：1)所提出的算子不是在欧氏空间中计算卷积，而是在模糊特征域中选择像素并计算卷积，从而获

得高阶信息；2)将特征转化为模糊域，以抑制噪声和不确定性。该算子与原始卷积算子相结合，提取特征。引入了模糊形状自适应卷积算子后，在模糊特征域中提取信息的效果比在欧氏空间中提取信息的效果好得多。

此外还有一种DCN(DeformableConvolutionNet)的网络