卷积神经网络ConvolutionalNeuralNetworks(CNN)摘要.docx

卷积神经网络 Convolutional Neural Networks（ CNN ） 一、什么是卷积 首先回顾一下，数字图像处理中我们用卷积模板和原始图像的像素卷积。过程如下： Step 1、先将模板旋转 180 度（又称折叠） Step 2、然后让模板依次和原始图像重叠，并且计算重叠部分的数值乘积之和 以 2D为例 先对模板 K 做折叠，然后依次覆盖图像 I ，并且计算重叠部分的数值乘积之和 依次进行到最后，会多出一圈，得到最后的卷积结果 卷积的意义（图像处理而言） ；对图像使用不同的卷积模板，对图像做不同的处理。比如平滑模板可以使图像模糊，并且可以减少噪声、锐化模板可以使图像的轮廓变得清晰。 二、卷积网络的结构 2.1 从 BP 网络到卷积网络 回想一下 BP 神经网络。 BP 网络每一层节点是一个线性的一维排列状态，层与层的网络节点之 间是全连接的。这样设想一下，如果 BP 网络中层与层之间的节点连接不再是全连接，而是局部连接的。这样，就是一种最简单的一维卷积网络。如果我们把上述这个思路扩展到二维，这就是我们在大多数参考资料上看到的卷积神经网络。具体参看下图： 图 1：全连接的 2D 网络（ BP 网络） 图 2：局部连接的 2D 网络（卷积网络） 现在我们考虑单隐层结构， 上图左：全连接网络。如果我们有 1000x1000 像素的图像，有 1 百万个隐层神经元，每个隐层神经 元都连接图像的每一个像素点， 就有 1000x1000x1000000=10^12 个连接， 也就是 10^12 个权值参数。 上图右：局部连接网络，每一个节点与上层节点同位置附近 10x10 的窗口相连接，则 1 百万个隐层 神经元就只有 100w 乘以 100，即 10^8 个参数。其权值连接个数比原来减少了四个数量级。因此，卷积网络降低了网络模型的复杂度，减少了权值的数量。该优点在网络的输入是多维图像时表现的更为明显，使图像可以直接作为网络的输入，避免了传统识别算法中复杂的特征提取和数据重建过程。 2.2 卷积网络的结构 卷积神经网络是一个多层的神经网络，每层由多个二维平面组成，而每个平面由多个独立神经 元组成。卷积神经网络中的每一个特征提取层（ C- 层）都紧跟着一个用来求局部平均与二次提取的下采样层（ S-层），这种特有的两次特征提取结构使网络在识别时对输入样本有较高的畸变容忍能力。 图 3 经典的卷积神经网络结构图 原始图像的大小决定了输入向量的尺寸，隐层由 C-层（特征提取层）和 S-层（下采样层）组成，每 层均包含多个平面。 C1 层神经元提取图像的局部特征， 因此每个神经元都与前一层的局部感受野 （也 就是局部输入窗口）相连。 C1 层中各平面（由神经元构成）提取图像中不同的局部特征，如边缘特 征，上下左右方向特征等， C1 层中的输入是有由上一层局部窗口的数值和连接的权值的加权和（也 就是卷积， 后面会具体解释为什么是卷积） ，然后通过一个激活函数 （如 sigmoid 函数，反正切函数） 得到 C1 层的输出，接下来 S2 层是下采样层，简单来书，由 4 个点下采样为 1 个点，也就是 4 个数 的加权平均。换句话说，就是我们把 2*2 的像素缩小成为一个像素，某种意义上来说可以认识是图 像处理中的模糊。然后按照这个 C— S 的结构继续构成隐层，当然这些隐层的连接都是局部相连的。 同时有人会问了，例如 S2 和 C3 层具体要怎么连接呢，为什么会从 6 张变成 16 张特征图呢。 C3 层 的特征图是由 S2 层图像的感受野和对应权值的卷积后，通过随机的组合而形成的，也就意味着 S2 层和 C3 层并不像 C1 层和 S2 层那样是一一对应的。但当我们感受野的大小和图像一样时，我们经 过特征提取后就变成一个像素了，这里我们开始使用全连接（这样才能完整的把特征保留） 。 2.3 为什么给这种局部连接命名为卷积网络 卷积网络第一个特点是连接权值远远小于 BP 网络的权值。卷积神经网络另外一个特性是权值 共享。这样一来就更进一步减少了对网络权值的训练（毕竟权值是共享的，也就意味着有一些全是 是相同的）。权值共享是指同一平面层的神经元权值相同。如何理解呢！看下图 2，假设红色的点和 黑色的点是 C1 层第一个特征图的 2 个不同神经元， 感受窗口的大小是 5*5 的（意味着有 25 个连接）， 这 2 个神经元连接的权值是共享的（相同的） 。这样一来， C1 层中的每个神经元的输入值，都有由 原始图像和这个相同的连接权值的加权和构成的，想想看，这个过程是不是和卷积的过程很像呢！没错，就是由这个得名的。同时这样一来，我们需要训练的权值就更少了，因为有很多都是相同的。 还没理解的话，接着看 C1 层是一