卷积神经网络CNN.docxVIP

1、动机???卷积神经网络（CNN）是多层感知机（MLP）的一个变种模型，它是从生物学概念中演化而来的。从Hubel和Wiesel早期对猫的视觉皮层的研究工作，我们知道在视觉皮层存在一种细胞的复杂分布，，这些细胞对于外界的输入局部是很敏感的，它们被称为“感受野”（细胞），它们以某种方法来覆盖整个视觉域。这些细胞就像一些滤波器一样，它们对输入的图像是局部敏感的，因此能够更好地挖掘出自然图像中的目标的空间关系信息。???此外，视觉皮层存在两类相关的细胞，S细胞（Simple?Cell）和C（Complex?Cell）细胞。S细胞在自身的感受野内最大限度地对图像中类似边缘模式的刺激做出响应，而C细胞具有更大的感受野，它可以对图像中产生刺激的模式的空间位置进行精准地定位。???视觉皮层作为目前已知的最为强大的视觉系统，广受关注。学术领域出现了很多基于它的神经启发式模型。比如：NeoCognitron?[Fukushima],?HMAX?[Serre07]?以及本教程要讨论的重点?LeNet-5?[LeCun98]。?2、稀疏连接???CNNs通过加强神经网络中相邻层之间节点的局部连接模式（Local?Connectivity?Pattern）来挖掘自然图像（中的兴趣目标）的空间局部关联信息。第m层隐层的节点与第m-1层的节点的局部子集，并具有空间连续视觉感受野的节点（就是m-1层节点中的一部分，这部分节点在m-1层都是相邻的）相连。可以用下面的图来表示这种连接。???假设，m-1层为视网膜输入层（接受自然图像）。根据上图的描述，在m-1层上面的m层的神经元节点都具有宽度为3的感受野，m层每一个节点连接下面的视网膜层的3个相邻的节点。m+1层的节点与它下面一层的节点有着相似的连接属性，所以m+1层的节点仍与m层中3个相邻的节点相连，但是对于输入层（视网膜层）连接数就变多了，在本图中是5。这种结构把训练好的滤波器（corresponding?to?the?input?producing?the?strongest?response）构建成了一种空间局部模式（因为每个上层节点都只对感受野中的，连接的局部的下层节点有响应）。根据上面图，多层堆积形成了滤波器（不再是线性的了），它也变得更具有全局性了（如包含了一大片的像素空间）。比如，在上图中，第m+1层能够对宽度为5的非线性特征进行编码（就像素空间而言）。?3、权值共享???在CNNs中，每一个稀疏滤波器hi在整个感受野中是重复叠加的，这些重复的节点形式了一种特征图（feature?map）,这个特种图可以共享相同的参数，比如相同的权值矩阵和偏置向量。????在上图中，属于同一个特征图的三个隐层节点，因为需要共享相同颜色的权重,?他们的被限制成相同的。在这里，?梯度下降算法仍然可以用来训练这些共享的参数，只需要在原算法的基础上稍作改动即可。共享权重的梯度可以对共享参数的梯度进行简单的求和得到。???为什么对权值共享如此感兴趣呢？无论重复单元在感受野的什么位置，他们都可以检测到特征。此外，权值共享提供了一种高效的方式来实现这个，因为这种方式大大减少了需要学习（训练）的参数数目。如果控制好模型的容量，CNN在解决计算机视觉问题上会有更好的泛化能力。?4、详细说明和标注说明???从概念上来说，特征图是通过对输入图像在一个线性滤波器上做卷积，增加一个偏置项，在此结果上再作用一个非线性函数得到的。如果我们把某一层的第k个特征图记为hk，它的滤波器由权值Wk和偏置bk所决定，所以特征图的由下面公式定义（非线性函数取tanh）：?卷积说明：?为了更好地表示数据，隐层由多个特征图构成，{hk,k=1,2,3?...K}.权值W由4个参数决定（目标特征图的索引、源特征图的索引、源垂直位置的索引、源水平位置的索引）（可以说W是一个4维的张量），偏置b为一个向量,向量中的每一个元素对应一个特征图的索引。我们用下图来表示：?上图是一个包含2层神经元节点的CNN，包括m-1层的4个特征图和m层的2个特征图（h0,h1）。神经元在h0,h1的输出（像素）是由m-1层中在其2*2的感受野中的像素计算得到的。这里注意感受野是如何跨越4个特征图的，权值W0，W1是3维的张量（3D?tensor），一个表示输入特征图的索引，另外两个表示像素坐标。总的来说，表示连接第m层第k个特征图的特征图上的每一个像素的权重，与之连接的是m-1层上第l个特征图中坐标为（i,j）的像素。?5、ConvOp???ConvOp是Theano中对卷积层的一个实现。它重复了Scipy中scipy.signal.convolve2d的函数功能，总的来讲,ConvOp包含了两个输入（参数）：???（1）对应输入图像的mini-batch的4D张量。每个张量的