深度学习 CNN卷积神经网络.ppt

Convolutional Neural Networks - 数媒学院 - Outline convolution pooling sparse connectivity parameter sharing equivariant representation 卷积层 -- convolution 池化层 -- pooling 全连接层 — fully connected Overview CNN-Overview ? 卷积神经网络是一种受到视觉感知机制启发的深度学习结构。 1959 年 Hubel 和 Wiesel 发现动物 的视觉皮质细胞负责在感知域内探测光照，受其启发， 1980 年 Kunihiko Fukushima 提出了一种 新型认知机并被认为是 CNN 的先驱。 ? 1990 年， LeCun 发表了一篇奠定现在 CNN 结构的重要文章，他们构建了一个叫做 LeNet-5 的多 层前馈神经网络，并将其用于手写体识别。就像其他前馈神经网络，它也可以使用反向传播 算法来训练。它之所以有效，是因为它能从原始图像学习到有效的特征，几乎不用对图像进 行预处理。然而由于当时 训练数据量的缺乏 以及 计算能力的不足 ， LeNet-5 无法在复杂问题上 表现的很好，比如大规模图像分类以及视频分类处理。 Yann LeCun: 纽约大学 /Facebook ? 自 2006 年以来，又有很多方法被提出来以克服在训练 deep CNNs 时遇到的困难。其中很重要的一个是 AlexNet 网络，它和 LeNet-5 很相似，但是在图像分类任务上有了 很大的提升。随着 AlexNet 的成功，又有很多新的神经网 络被提出来以提升它的性能。 ZFNet(2014) VGGNet(2015) GoogleNet(2014) ResNet(2015) — champion of ILSVRC 2015 CNN-Overview ZFNet(2014) VGGNet(2015) GoogleNet(2014) ResNet(2015) — champion of ILSVRC 2015 LeNet-5(1990) AlexNet(2012) ? 上述这些神经网络一个很重要的趋势就是 deeper ，其中 ResNet 的深度是 AlexNet 的 20 倍，是 VGGNet 的 8 倍。随着深度的增加，网络能够更好的逼近非线性目标方程，并且能够学习到 更加有效的特征。当然这也增加了模型的复杂度，使得模型很难训练并且容易过拟合。所 以有很多方法被提出来用于解决 CNNs 的训练和过拟合问题。 ? 和传统的前馈神经网络类似，整个网络的模型有几种因素决定。我们传统的前馈神经网络 隐藏层一般是全连接的，而 CNN 的隐藏层又分为 convolutional layer ， pooling layer 和最后的 fully-connected layer ，这些隐藏层的区别是 CNN 之所以为 CNN 的重要原因，而另外各个神经 元激活函数的选择以及整个网络损失函数的选择都与 FNN 类似。下面我们主要讲解 LeNet-5 。 ? CNN 的应用也很广泛，其中包括图像分类，目标检测，目标识别，目标跟踪，文本检测和 识别以及位置估计等。 CNN-Overview ? 上面提到 CNN 和 FNN 很重要的差异就是隐藏层的差异， CNN 有 convolutional layer 和 pooling layer ，然后和最后的 fully-connected layer 共同构成卷积神经网络。而中间的隐藏层的连接 方式又有三个重要的思想： sparse connectivity and parameter sharing and equivariant representation convolution operation and pooling operation Convolution 右图就是一个 2 维卷积的示意图，这里因为是 离散的卷积，所以可以直接把卷积理解为矩阵 相乘，即两个矩阵相乘，一个是输入矩阵，一 个是卷积核矩阵。输入矩阵一般都表示二维的 输入图像，而卷积核其实可以理解为图像处理 里面的算子，比如这些算子可以实现一些边缘 检测或者高斯模糊的效果，那么其实卷积操作 可以理解为对图像进行一些 特征处理 。 如图所示，一个卷积操作就是指卷积核和同样 大小的一个图像矩阵相乘，然后再向下或者向 右滑动卷积核，执行下一个卷积操作。这样用 卷积核在整个图像上面滑动一遍便生成了一个 卷积层。 CNN 的一个重要操作 卷积 是 CNN 的 核心思想 ， 就是这个卷积有效的提取了图像特征用于后 面的图像识别。 Convolution 右图