卷积神经网络（CNN）反向传播算法训练过程.pdfVIP

卷积神经⽹络 （CNN）反向传播算法训练过程 卷积神经⽹络反向传播算法与训练过程 卷积神经⽹络(CNN)因其接近⼈类视觉 作的特征提取⽅法、以及通过权值共享从⽽减轻计算任务的特点从⽽制霸计算机视觉领域，详细地 ⼤家可以通过这篇⽂章( )品⼀品不同⽹络结构的特点。 我相信⼤家尤其是新⼿⼊门都看过不少 “5min⼊门CNN”、 “⼀张图搞定CNN”…等等之类的⽂章，虽然这种⽂章确实能够帮助我们快速 理解CNN的特点，但是这种 “过于轻松”的⽅式也可能会让我们丢掉许多卷积神经⽹络实现的细节问题，很难对CNN有更加深⼊的理解。 作为⼀个鉴定信仰 “Math goes first”的⼈，写这篇⽂章的⽬的就在于帮助⼤家怎样⽤公式表达/推导，这样⼀种更加严谨⽼派的⽅式解释 CNN训练过程，⽬的就在于：1）通过这种 “⾟苦”的脑⼒劳动，帮助⼤家更加深刻具体的理解数据、结构、参数、损失、函数训练这些要 素怎样在⼀起⼯作 转起来的；2）⽽来也是为了帮助⼤家以后能够更好地阅读前沿⽂献，不⾄于看到公式就皱眉头。好了，接下来就让我 们⼀起愉快地学习吧 ！ 1、前向传播 1.1卷积层前向传播 前向传播公式 M l ∑ l−1 l l l l j i=1 ij j j j z = ai ∗ w + b , a = σ (z ) l j 其中，z 表⽰总输⼊通道数为M 的节点a 经第l层神经⽹络处理后产⽣的第j 个输出节点，然后经激活函数σ激活后，也就变成下⼀层⽹络的 i l j 第j 个输⼊通道的特征节点a 。 注意要点 ： 1. 假设输⼊节点i的总个数为M，输出节点j 的总个数为N，那么总的卷积核wij 个数就为M ⋅ N ; 2. 在结构确定的情况下，反向传播算法需要更新的就是卷积核的值和偏置; 1.2池化层前向传播 前向传播公式 l l−1 l l j j j j z = down(a ), a = σ(z ) l l j j j 其中，z 表⽰输⼊节点a 经第l层池化层后就变成输出节点z ，注意要点 ： 3. 池化操作并改变输出节点或者说特征图个数，即输⼊多少张特征图，经池化后输出多少张特征图； 4. 池化⼀般并没有激活函数，所以此处可以把激活函数的输出等于输⼊。 1.3全连接层前向传播 前向传播公式 M l ∑ l−1 l l l l j i=1 ij j j j z = ai ∗ w + b , a = σ (z ) 全连接层的公式基本和卷积层⼀样，因为形式上可以把全连接层看成⼀种卷积核