深度学习问答08：残差网络ResNet如何解决深层网络梯度消失问题？.docxVIP

深度学习问答08：残差网络ResNet如何解决深层网络梯度消失问题？

一、核心问答正文

问题1：为什么单独讲解ResNet梯度消失解决方案？

在上一篇07章节《CNN经典模型迭代对比》中，我们初步了解ResNet残差网络的核心作用：解决深层网络退化问题，支撑百层乃至千层超深层网络训练。在实际学习与面试过程中，绝大多数初学者极易混淆网络退化、梯度消失、梯度爆炸三类问题，同时无法理解残差连接的底层运行逻辑。

ResNet之所以能成为计算机视觉领域里程碑式模型，且至今仍是工业、竞赛主流骨干网络，核心原因就是依靠短路连接机制，同步缓解梯度消失与网络退化两大深层网络通病。该知识点属于深度学习高频简答题、面试深挖类必考考点，本篇由浅入深，从零拆解原理、推导梯度公式、辨析易错概念，一站式帮你彻底吃透残差网络底层逻辑。

问题2：深度辨析：梯度消失、梯度爆炸、网络退化

在学习ResNet解决方案前，必须分清三类深层网络常见问题（面试高频辨析题），三者诱因、表现、解决方式完全不同：

（一）梯度消失

反向传播过程中，梯度依靠链式法则逐层累乘；深层网络层数过多时，小于1的梯度值反复相乘，梯度数值无限趋近于0。底层网络权重无法得到更新，浅层神经元彻底停止学习，网络丧失特征提取能力。该问题是限制传统CNN加深层数的核心瓶颈。

（二）梯度爆炸

与梯度消失原理相反，若初始梯度值大于1，经过多层链式累乘后，梯度数