Pych深度学习入门与实战：Reet与残差网络.pdfVIP

Pytorch

深度学习与实战

讲师：日月光华

Resnet与残差网络

讲师：日月光华讲师

增加层的

模型想取得更高的正确率，一种显然的思路就是给模型添加

的层。

随着层数的增加，模型的准确率得到提升，然后过拟合；

这时再增加的层，准确率会开始下降。

增加层的

在到达一定深度后加入层，模型可能产生梯度或爆

炸问题

可以通过更好的初始化权重、添加BN层等解决

现代架构，试图通过引入不同的技术来解决这些问题，如残

差连接。

增加层的

ResNet

网络特别深的时候会出现梯度和梯度。为了

让更深的网络也能训练出好的效果，何凯明等作者提

出了这个网络结构。

ResNet

ResNet是一种残差网络，

可以把它理解为一个模块，这个模块经过堆叠可以构成一个

很深的网络。

ResNet通过增加残差连接（shortcutconnection），显式

地让网络中的层拟合残差映射（residualmapping）。

ResNet网络结构

权重层