卷积神经网络-神经网络与深度学习.PDF

第六章 卷积神经网络 当处理图像时，全连接的前馈神经网络会存在以下两个问题： 图像不能太大。比如，输入图像大小为100 100 3 （即图像高度为100， 宽度为100，3 个颜色通道 ）。在全连接前馈神经网络中，第一个隐藏 层的每个神经元到输入层都有100 100 3 = 30, 000 个相互独立的连接， 每个连接都对应一个权重参数。随着隐藏层神经元数量的增多，参数的规 模也会极具增加。这会导致整个神经网络的训练效率会非常低，也很容易 出现过拟合。 难以处理图像不变性。自然图像中的物体都具有局部不变性特征，比如在 尺度缩放、平移、旋转等操作不影响人们对它的正确识别。而全连接的前 馈神经网络很难提取这些特征，一般需要进行数据增强来提高性能。 卷积神经网络 （ ， ）是受生物学上感 受野 （ ）的机制而提出的一种前馈神经网络。 感受野主要是指听觉、视觉等神经系统中一些神经元的特性，即神经元只 接受其所支配的刺激区域内的信号。在视觉神经系统中，视觉皮层中的神经细 胞的输出依赖于视网膜上的光感受器。视网膜上的光感受器受刺激兴奋时，将 神经冲动信号传到视觉皮层，但不是所有视觉皮层中的神经元都会接受这些信 号。一个神经元的感受野是指视网膜上的特定区域，只有这个区域内的刺激才 能够激活该神经元。 和 在 年发现，在猫的初 和 级视觉皮层中存在两种细胞：简单细胞和复杂细胞，这两种细胞承担不同层次 在此方面的贡献， 与 年获得诺贝尔生 的视觉感知功能 。简单细胞的感受野是狭长型 理学或医学奖。 的，每个简单细胞只对感受野中特定角度（ ）的光带敏感，而复杂细 胞对于感受野中以特定方向（ ）移动的某种角度（ ）的光带 敏感。 第六章 卷积神经网络 受此启发，年， （福岛邦彦）提出了一种带卷积和 子采样操作的多层神经网络：新知机（ ） 。但当 时还没有反向传播算法，新知机采用了无监督学习的方式来训练。 在 年将反向传播算法引入了卷积神经网络 ，并在手写 体数字识别上取得了很大的成功 。 目前的卷积神经网络一般采用交替使用卷积层和最大值池化层，然后在顶 端使用多层全连接的前馈神经网络。训练过程使用反向传播算法。卷积神经网 络有三个结构上的特性：局部连接，权重共享以及次采样。这些特性使得卷积神 经网络具有一定程度上的平移、缩放和扭曲不变性。和前馈神经网络相比，卷 积神经网络的参数更少。在图像识别任务上，基于卷积神经网络模型的准确率 也远远超出了一般的神经网络模型。 卷积 卷积，也叫摺积，是分析数学中一种重要的运算。我们这里只考虑离散序 列的情况。 一维场合 一维卷积经常用在信号处理中。给定一个输入信号序列x t = 1, , n，和 t 滤波器 f t = 1, , m，一般情况下滤波器的长度m 远小于信号序列长度n 。 t 卷积的输出为： m