深度学习基础与实践 课件 10.1 ResNet网络.pptx

ResNet网络;

ResNet网络解决的问题

ResNet的辉煌成就

ResNet深度残差网络(Deepresidualnetwork,ResNet)的提出是CNN图像史上的一件里程碑事

件，ResNet深度残差网络声名鹊起，是在ILSVRC和COCO2015大赛上的出色战绩，ResNet的作者何凯明

博士一举拿下了五个国际赛事的第一名。分别在ImageNet目标分类利用152层深度学习网络拿下第一

名，在ImageNet目标检测以超过第二名16%的成绩拿下第一。在ImageNet目标定位以超过第二名27%的

成绩拿下第一。在COCO目标检测又以超过第二名11%的成绩轻松拿下第一；最后在COCO目标分割以超

过第二名12%的成绩拿下第一。在2015年，何博士凭借着ResNet模型碾压各路群雄，刷新了CNN模型在ImageNet上的历史战绩。;

ResNet网络解决的问题

ResNet的辉煌成就

如下面所示：2014年，VGG才19层，而15年的ResNet多达152层，网络深度完全不是一个量

级选手。ResNet也是依靠发挥了网络深度优势，才有它如此强大的性能。但是网络深度加深，

会带来问题网络深度退化等一系列问题，而ResNet网络解决的就是网络深度退化问题。;

深层网络模型会相比浅层网络模型，能进行更加复杂的特征模式的提取，所以从理论角度来说更深网

络会取得更好的结果，但是结合上图发现，无论是在训练阶段，还是在测试阶段，56层的网络结构都比20

的网络结构的表现效果要差一些。(左图为训练集图，y轴代表训练损失函数损失值，x轴代表网络迭代的

次数，当网络迭代趋于稳定的时候，20层的网络结构的损失值要比56层的网络结构的损失还要低，这说明20层网络结构，网络收敛效果要更好一些，同理右图是测试集也是类似的。)网络深度增加会带来许多问题，例如梯度消失或者梯度爆炸的问题，但是这个问题可以依靠BatchNorm来缓解，最关键的一个问题还是网络退化问题,网络退化问题是指：随着网络层级的不断增加，模型精度不断得到提升，而当网络层级增加到一定的数目以后，训练精度和测试精度迅速下降，这说明当网络变得很深以后，深度网络就变得更加难以训练了，即网络出现了性能饱和，甚至性能下降现象。而ResNet就是依靠残差块解决之前没人能够解决的网??退化问题。

图像来源：/freeshow/blog/4428876;

ResNet残差网络的介绍

残差块(恒等快捷连接identityshortcutconnection)

假设x是输入，F(x)表示隐藏层操作，一般神经网络输出为

Hx=F(x)而残差网络的输出为H=FX+X，具体结构如下：

是网络输出结果，想要变成浅网络只需要让F(x)学习为F(x)=0，就可以变浅了，及H(x)=x，这比从头到尾的直接学习，要容易的多。

残差块包含两个部分：前向神经网络和shortcut连接。F(X)是前向神经网络，用上图左侧表

示，图中weightlayer代表着卷积操作，一般一个残差部分包含2-3个卷积操作，将卷积后的特征

图与x相加得到新的特征图。

图像来源：/freeshow/blog/4428876;

再通过一个有残差块和没有残差块的进行对比，有残差块表示为：H(x)=F(x)+x;没有残差块表示为

H(x)。假设模型发生了网络退化，X是网络的最优解。看下有残差块的网络会怎么做。此时H(x)=x是最

优解，那么只需要将F(x)=0即可，而F(x)代表少量的卷积操作。这样的恒等学习是非常容易的。而没有残差块的网络H(x)=x是最优解时，从上到下整个网络都要学习，这是一种硬性变化，让H(x)=x。相比之下残差块网络是一种弹性变化，它能让深度层网络收缩成浅层网络，又可以伸展成深层网络。这样拥有残差块的网络是不会比浅层网络差的(它可以变成浅层网络),又有更强学习能力(可以伸展成深层网

络)。

图像来源：/freeshow/blog/4428876;

残差块有两种结构类型，一种有“bottleneckblock”结构，如上右图所示，它添加了瓶颈层

卷积，用于先降通道维度，再升维度，这就像塑料瓶的的瓶颈，入口狭窄，里面内容很大。

这主要是出于降低计算复杂度的现实考虑。另一种称之为：“basicblock”,它没有bottleneck结构，如上图左所示，称为“basicblock”。basicblock由2个3×3卷积层