【深度学习】卷积神经网络的卷积层和池化层计算.pdfVIP

【深度学习】卷积神经⽹络的卷积层和池化层计算 ⼀、简介 卷积神经⽹络 （Convolut onal neural network, CNN），属于⼈⼯神经⽹络的⼀种，被应⽤于图像识别、语⾳识别等各种场合。 我们知道，神经⽹络的基本组成包括输⼊层、隐藏层、输出层。卷积神经⽹络的特点就在于隐藏层分为卷积层和池化层。 卷积层，通过⼀块卷积核在原始图像上平移来提取特征，每⼀个特征就是⼀个特征映射 ； 池化层，通过汇聚特征后稀疏参数来减少要学习的参数，降低⽹络的复杂度，常见的包括 ：最⼤值池化和平均值池化 下⾯我们先来看看卷积神经⽹络的整体结构 ⼆、整体结构 1、根据 我们可以简单画出神经⽹络的结构图： 图中有多个 “Aff ne-ReLU”组合，最后⼀层是 “Aff ne-Softmax”组合，通过Softmax输出最终结果 （概率） 2、CNN的结构图 ⽐较上⾯两张图，我们可以发现，CNN中新增加了Convlut on层和Pool ng层，CNN的层的连接顺序是 “Conv-ReLU-(Pool)”， （Pool ng层有时会被省略） 三、卷积层 在神经⽹络中，我们使⽤全连接层 （Aff ne），相邻层的神经元全部连接在⼀起，输出的数量可以任意决定。 那么为什么要将全连接层换成卷积层呢？ 因为，全连接层将数据的形状给 “忽略”了，使⽤神经⽹络来训练MNIST数据，输⼊数据是图像，三维形状 （1,28,28）表⽰ （通道，⾼， 长），输⼊的数据是将三维数据拉平为⼀维数据，以784个数据的形式输⼊到最开始的全连接层。 但是，这个忽略了图像三维形状中包含的空间信息，⽐如，空间上邻近的像素为相似的值、RGB的各个通道之间也存在密切的关联性，所以 使⽤全连接⽆法利⽤与形状相关的信息。 使⽤卷积层，可以保持图像数据的形状不变，输⼊图像数据时，卷积层会以三维数据的形式接收输⼊数据，并且同样以三维数据输出 ⾄下⼀层 1、卷积运算 动画演⽰ 卷积层进⾏的处理就是卷积运算，也相当于图像处理中的 “滤波器运算” 上图是单通道的运算，卷积运算在输⼊数据中以⼀定间隔滑动卷积核的窗⼝并运算 （相应元素相乘在求和），然后将结果输出到对应 的位置，将这个过程在所有位置都进⾏⼀遍，便可以得到卷积运算的结果。 在全连接的神经⽹络中，除了权重，还存在偏置。CNN中，卷积核的参数对应之前的权重，并且CNN也存在偏置，卷积运算后得到结果的 每个元素都加上偏置，如下图： 四、填充、步幅 1、填充 在进⾏卷积层处理之前，向输⼊数据的周围填⼊固定的值 （⽐如0） 图中，原图像数据形状为(5,5)，通过填充，输⼊数据变成了(7,7)，然后应⽤⼤⼩为(3,3)的卷积核，⽣成了(3,3)的输出数据，这⾥步 幅设置为2 使⽤填充主要是为了调整输出的⼤⼩，因为每次进⾏卷积都会缩⼩空间，那么在多次卷积后⼤⼩可能为 1，导致⽆法继续在应⽤卷积运 算 卷积运算可以保持空间⼤⼩不变的情况下将数据传递给下⼀层 2、步幅 步幅是指应⽤卷积核的间隔，动画演⽰中的步幅为2 对于输⼊⼤⼩为(7,7)的数据，以步幅为2应⽤卷积核，输出⼤⼩为(3,3) 如果设置为 1，输出⼤⼩为(5,5) 综上，增⼤步幅后，输出⼤⼩会变⼩ ；增⼤填充后，输出⼤⼩会变⼤ 设输⼊⼤⼩为(H,W)，卷积核⼤⼩为(FH,FW)，输出⼤⼩为(OH,OW)，填充为P，步幅为S，此时： H + 2P − F H OH = S + 1 H + 2P − F W O W = S + 1 五、三维数据的卷积 上⾯的动画演⽰的就是三维数据的卷积运算，图像数据除了⾼、长⽅向之外，还需要处理通道⽅向。 在三维数据的卷积中，输⼊数据和卷积核的通道数要设为相同的值，动画演⽰中均为3 ； 卷积核的⼤⼩可以设置为任意值，但是每个卷积核的⼤⼩也必须相同 通道⽅向上有多个特征图时，会按通道进⾏输⼊数据和卷积核的卷积运算，并将结果相加，从⽽得到结果 六、池化层 上图为 “