卷积神经网络CNN.pdfVIP

卷积神经网络 CNN 卷积神经网络（CNN） 一、简介 卷积神经网络（Convolutional Neural Networks，简称 CNN ）是近年发展起 来，并引起广泛重视的一种高效的识别方法。 1962 年，Hubel 和 Wiesel 在研究猫脑皮层中用于局部敏感和方向选择的神 经元时发现其独特的局部互连网络结构可以有效地降低反馈神经网络的复杂性， [1] 7863 继而提出了卷积神经网络 （Convolutional Neural Networks-简称 CNN ） 。 现在，CNN 已经成为众多科学领域的研究热点之一，特别是在模式分类领域， 由于该网络避免了对图像的复杂前期预处理，可以直接输入原始图像，因而得 到了更为广泛的应用。 Fukushima 在 1980 年基于神经元间的局部连通性和图像的层次组织转换， 为解决模式识别问题，提出的新识别机（Neocognitron ）是卷积神经网络的第一 [2] 个实现网络 。他指出，当在不同位置应用具有相同参数的神经元作为前一层的 patches 时，能够实现平移不变性 1296 。随着 1986 年 BP 算法以及 T-C 问题[3] （即 权值共享和池化）9508 的提出， LeCun 和其合作者遵循这一想法，使用误差梯 度（the error gradient ）设计和训练卷积神经网络，在一些模式识别任务中获得 了最先进的性能[4][5] 。在 1998 年，他们建立了一个多层人工神经网络，被称为 LeNet-5[5]，用于手写数字分类, 这是第一个正式的卷积神经网络模型 3579 。类似 于一般的神经网络，LeNet-5 有多层，利用 BP 算法来训练参数。它可以获得原 始图像的有效表示，使得直接从原始像素（几乎不经过预处理）中识别视觉模 式成为可能。然而，由于当时大型训练数据和计算能力的缺乏，使得 LeNet-5 在 面对更复杂的问题时，如大规模图像和视频分类，不能表现出良好的性能。 因此，在接下来近十年的时间里，卷积神经网络的相关研究趋于停滞，原因 有两个：一是研究人员意识到多层神经网络在进行 BP 训练时的计算量极其之大， 当时的硬件计算能力完全不可能实现；二是包括 SVM 在内的浅层机器学习算法 也渐渐开始暂露头脚。直到 2006 年，Hinton 终于一鸣惊人，在《科学》上发表 文章，使得 CNN 再度觉醒，并取得长足发展。随后，更多的科研工作者对该网 络进行了改进。其中，值得注意的是 Krizhevsky 等人提出的一个经典的 CNN 架构，相对于图像分类任务之前的方法，在性能方面表现出了显著的改善 2674 。 他们方法的整体架构，即 AlexNet[9] （也叫ImageNet ），与LeNet-5 相似，但具 有更深的结构。它包括 8 个学习层（5 个卷积与池化层和 3 个全连接层），前边 的几层划分到 2 个 GPU 上，（和 ImageNet 是同一个）并且它在卷积层使用 ReLU 作为非线性激活函数，在全连接层使用 Dropout 减少过拟合。该深度网络 在 ImageNet 大赛上夺冠，进一步掀起了 CNN 学习热潮。 一般地，CNN 包括两种基本的计算，其一为特征提取，每个神经元的输入 与前一层的局部接受域相连，并提取该局部的特征。一旦该局部特征被提取后， 它与其它特征间的位置关系也随之确定下来；其二是特征映射，网络的每个计 算层由多个特征映射组成，每个特征映射是一个平面，平面上所有神经元的权 值相等。特征映射结构采用影响函数核小的 sigmoid 函数作为卷积网络的激活函 数，使得特征映射具有位移不变性。此外，由于一个映射面上的神经元共享权 值，因而减少了网络自由参数的个数。这两种操作形成了 CNN 的卷积层。此外， 卷积神经网络中的每一个卷积层都紧跟着一个用来求局部平均与二次提取的计 算层，即池化层，这种特有的两次特征提取结构减小了特征分辨率。 CNN 主要用来识别位移、缩放及其他形式扭曲不变性的二维图形。由于 CNN 的特征检测层通过训练数据进行学习，所以在使用 CNN 时，避免了显式 地特征抽取，而隐式地从训练数据中进行学习；再者由于同一特征映射面上的 神经元权值相同