在深度残差网络中学习严格恒等映射：自动丢弃冗余层方法.pdfVIP

在深度残差网络中学习严格的恒等映射

12

XinYuZhidingYuSrikumar

112

Ramalingam犹他大学NVIDIA

{xiny,srikumar}@,zhidingy@

一类超深网络，称为残差网络或ResNet[14],在

图像识别、目标检测和语义分割等各种视觉任务中取

得了破的性能。能够训练非常深的网络自然地促

使研究人员使用巨大的资源来实现最佳性能。因此，

在许多应用中，为了仅获得边际性能提升，就采用了

超级深的残差网络。在本文中，我们提出‑ResNet，

该方法允许我们自动丢弃冗余层，这些层产生的响应

小于阈值，且不会有任何性能损失。通过在原始图1.我们展示了一个非常深的‑残差网络，该网络有752

层，用于训练CIFAR‑。在训练过程中，‑ResNet识

ResNet中添加几个额外的修正线性单元可以实现‑

别出可以以微小或无性能损失的方式丢弃的层。红线表示

ResNet架构。我们的方法不使用任何额外变量，也不

可以剪枝的层，蓝线显示需要使用的层。在这个特定实例中，

像其他超参数优化技术那样进行大量试验。层选择是

我们实现了3.2(原始层数/减少后的层数)的压缩比。原始

通过单个训练过程完成的，并在CIFAR‑10、网络和减少后网络的验证错误率分别为24.8%和23.8%。

CIFAR‑100、SVHN和ImageNet数据集上进行了评估。在

某些情况下，我们实现了约80%的参数数量减少。

包括但不限于通用物体识别、物体检测

、人脸识别、分割和语

义边界检测。，He等人提出了一种改进

1.引言的残差单元设计，通过将激活函数视为权重层的“预

‑ResNet的基本思想如图所示。1中，‑ResNet激活”，而不是传统的“后激活”方式，构建了恒等

在CIFAR100数据集上进行训练。特别是，我们展示映射。这进一步导致了非常深的网络架构性能的显著

了一个752层的网络，每个残差块包含2个卷积层，提升，例如1001层的ResNet。

并采用预激活设置，遵循。在训练过程中，我们

自动识别可以剪枝或丢弃而不会对性能造成损失（或

仅有微小损失）的层。我们通过修改的残差网络ResNet的显著成功了一些显而易见的问题：

并添加几个额外的修正线性单元来实现这一点，这些让它比早期的架构表现得更好？ResNet的一个

单元会自动丢弃响应低于阈值的残差块。在本例中，优势是它能够处理/梯度。然而，这种成功不

我们实现了大约3.2(原始网络大小/削减后的网络大能仅仅归因于这一点，因为许多先前的方法已经通过

小)的压缩比。初始化来解决了这个问题。另一个

关键因素是深度，这已经被证明对模型表达能力极为

在表示学习方面的进展展示了深度残差学习所

有益。观察到训练非常深的神经网络