LeNet-5详解_精品文档.pdfVIP

LeNet-5详详解解

⼀⼀、、前前⾔⾔

出⾃论⽂Gradient-BasedLearningAppliedtoDocumentRecognition，是⼀种⽤于⼿写体字符识别的⾮常⾼效的卷积神经络。

本⽂将从卷积神经络结构的基础说起，详细地讲解每个络层。

论⽂下载：请到⽂章结尾处下载。

⼆⼆、、卷卷积积神神经经络络（（ConvolutionalNeuralNetwork,CNN））

在讲解LeNet-5之前，让我们先看下CNN。卷积神经络能够很好的利⽤图像的结构信息。LeNet-5是⼀个较简单的卷积神经络。下图显

⽰了其结构：输⼊的⼆维图像，先经过两次卷积层到池化层，再经过全连接层，最后使⽤softmax分类作为输出层。下⾯我们主要介绍卷积

层和池化层。

1、、卷卷积积层层

卷积层是卷积神经络的核⼼基⽯。在图像识别⾥我们提到的卷积是⼆维卷积，即离散⼆维滤波器（也称作卷积核）与⼆维图像做卷积操

作，简单的讲是⼆维滤波器滑动到⼆维图像上所有位置，并在每个位置上与该像素点及其领域像素点做内积。卷积操作被⼴泛应⽤与图像处

理领域，不同卷积核可以提取不同的特征，例如边沿、线性、⾓等特征。在深层卷积神经络中，通过卷积操作可以提取出图像低级到复杂

的特征。

上图给出⼀个卷积计算过程的⽰例图，输⼊图像⼤⼩为H=5,=5,D=3，即5×5⼤⼩的3通道（RGB，也称作深度）彩⾊图像。这个⽰例图中

包含两（⽤K表⽰）组卷积核，即图中滤波器0和1。在卷积计算中，通常对不同的输⼊通道采⽤不同的卷积核，如图⽰例中每组卷积核

包含（D=3）个3×3（⽤F×F表⽰）⼤⼩的卷积核。另外，这个⽰例中卷积核在图像的⽔平⽅向（⽅向）和垂直⽅向（H⽅向）的滑动步长

为2（⽤S表⽰）；对输⼊图像周围各填充1（⽤P表⽰）个0，即图中输⼊层原始数据为蓝⾊部分，灰⾊部分是进⾏了⼤⼩为1的扩展，⽤0来

进⾏扩展。经过卷积操作得到输出为3×3×2（⽤Ho×o×K表⽰）⼤⼩的特征图，即3×3⼤⼩的2通道特征图，其中Ho计算公式为：Ho=

(H−F+2×P)/S+1，o同理。⽽输出特征图中的每个像素，是每组滤波器与输⼊图像每个特征图的内积再求和，再加上偏置bo，偏置通常对

于每个输出特征图是共享的。输出特征图o[:,:,0]中的最后⼀个−2计算如上图右下⾓公式所⽰。

记住这⼏个符号：

H：图⽚⾼度；

：图⽚宽度；

D：原始图⽚通道数，也是卷积核个数；

F：卷积核⾼宽⼤⼩；

P：图像边扩充⼤⼩；

S：滑动步长。

在卷积操作中卷积核是可学习的参数，经过上⾯⽰例介绍，每层卷积的参数⼤⼩为D×F×F×K。卷积层的参数较少，这也是由卷积层的主要

特性即局部连接和共享权重所决定。

局部连接：每个神经元仅与输⼊神经元的⼀块区域连接，这块局部区域称作感受野（receptivefield）。在图像卷积操作中，即神经元

在空间维度（spatialdimension，即上图⽰例H和所在的平⾯）是局部连接，但在深度上是全部连接。对于⼆维图像本⾝⽽⾔，也是

局部像素关联较强。这种局部连接保证了学习后的过滤器能够对于局部的输⼊特征有最强的响应。局部连接的思想，也是受启发于⽣

物学⾥⾯的视觉系统结构，视觉⽪层的神经元就是局部接受信息的。

权重共享：计算同⼀个深度切⽚的神经元时采⽤的滤波器是共享的。例上图中计算o[:,:,0]的每个每个神经元的滤波器均相同，都为

0，这样可以很⼤程度上减少参数。共享权重在⼀定程度上讲是有意义的，例如图⽚的底层边缘特征与特征在图中的具体位置⽆关。

但是在⼀些场景中是⽆意的，⽐如输⼊的图⽚是⼈脸，眼睛和头发位于不同的位置，希望在不同的位置学到不同的特征。请注意权重

只是对于同⼀深度切⽚的神经元是共享的，在卷积层，通常采⽤多组卷积核提取不同特征，即对应不同深度切⽚的特征，不同深度切

⽚的神经元权重是不共享。另外，偏重对同⼀深度切⽚的所有神经元都是共享的。

通过介绍卷积计算过程及其特性，可以看出卷积是线性操作，并具有平移不变性（shift-invariant），平移不变性即在图像每个位置执⾏相同

的操作。卷积层的局部连接和权重共享使得需要学习的参数⼤⼤减⼩，这样也有利于训练较⼤卷积神经络。

整体计算过程如下（与上图中的数据不同，但是计算过程相同）：

2、、池池化化层层

池化是⾮线性下采样的⼀种形式，主要作⽤是通过减少络的参