chap-卷积神经网络.pptVIP

卷积神经网络 《神经网络与深度学习》 https://nndl.github.io/ 全连接前馈神经网络 权重矩阵的参数非常多 局部不变性特征 自然图像中的物体都具有局部不变性特征，比如尺度缩放、平移、旋转等操作不影响其语义信息。 而全连接前馈网络很难提取这些局部不变特征。 卷积神经网络 卷积神经网络（Convolutional Neural Networks，CNN）是一种前馈神经网络。 卷积神经网络是受生物学上感受野（Receptive Field）的机制而提出的。 在视觉神经系统中，一个神经元的感受野是指视网膜上的特定区域，只有这个区域内的刺激才能够激活该神经元。 卷积神经网络有三个结构上的特性： 局部连接 权重共享 空间或时间上的次采样 卷积 卷积 Filter: [-1,0,1] 两维卷积 在图像处理中，图像是以二维矩阵的形式输入到神经网络中，因此我们需要二维卷积。 两维卷积示例 卷积扩展 引入滤波器的滑动步长s和零填充p 卷积类型 卷积的结果按输出长度不同可以分为三类： 窄卷积：步长s = 1，两端不补零p = 0，卷积后输出长度为n − m + 1。 宽卷积：步长s = 1，两端补零p = m − 1，卷积后输出长度n + m − 1。 等长卷积：步长s = 1，两端补零p = (m − 1)/2，卷积后输出长度n。 在早期的文献中，卷积一般默认为窄卷积。 而目前的文献中，卷积一般默认为等宽卷积。 转置卷积/微步卷积 低维特征映射到高维特征 空洞卷积 如何增加输出单元的感受野 增加卷积核的大小 增加层数来实现 在卷积之前进行汇聚操作 空洞卷积 通过给卷积核插入“空洞”来变相地增加其大小。 卷积神经网络 用卷积层代替全连接层 卷积层 卷积层的映射关系 步长2 filter个数3 3*3 填充 卷积层 典型的卷积层为3维结构 汇聚层 卷积层虽然可以显著减少连接的个数，但是每一个特征映射的神经元个数并没有显著减少。 卷积网络结构 卷积网络是由卷积层、子采样层、全连接层交叉堆叠而成。 趋向于小卷积、大深度 趋向于全卷积 典型结构 一个卷积块为连续M 个卷积层和b个汇聚层（M通常设置为2 ∼ 5，b为0或1）。一个卷积网络中可以堆叠N 个连续的卷积块，然后在接着K 个全连接层（N 的取值区间比较大，比如1 ∼ 100或者更大；K一般为0 ∼ 2）。 表示学习 表示学习 典型的卷积网络 LeNet-5 LeNet-5 是一个非常成功的神经网络模型。 基于 LeNet-5 的手写数字识别系统在 90 年代被美国很多银行使用，用来识别支票上面的手写数字。 LeNet-5 共有 7 层。 需要多少个卷积核？ Large Scale Visual Recognition Challenge AlexNet 2012 ILSVRC winner （top 5 error of 16% compared to runner-up with 26% error） 第一个现代深度卷积网络模型，首次使用了很多现代深度卷积网络的一些技术方法， 比如使用GPU进行并行训练，采用了ReLU作为非线性激活函数，使用Dropout防止过拟合，使用数据增强 共有8层，其中前5层卷积层，后边3层全连接层 Inception网络 2014 ILSVRC winner （22层） 参数：GoogLeNet：4M VS AlexNet：60M 错误率：6.7% Inception网络是由有多个inception模块和少量的汇聚层堆叠而成。 Inception模块 v1 在卷积网络中，如何设置卷积层的卷积核大小是一个十分关键的问题。在Inception网络中，一个卷积层包含多个不同大小的卷积操作，称为Inception模块。 Inception模块同时使用1 × 1、3 × 3、5 × 5等不同大小的卷积核，并将得到的特征映射在深度上拼接（堆叠）起来作为输出特征映射。 卷积和最大汇聚都是等宽的。 Inception模块 v3 用多层的小卷积核来替换大的卷积核，以减少计算量和参数量。 使用两层3x3的卷积来替换v1中的5x5的卷积 使用连续的nx1和1xn来替换nxn的卷积。 残差网络 残差网络（Residual Network，ResNet）是通过给非线性的卷积层增加直连边的方式来提高信息的传播效率。 假设在一个深度网络中，我们期望一个非线性单元（可以为一层或多层的卷积层）f(x,θ)去逼近一个目标函数为h(x)。 将目标函数拆分成两部分：恒等函数和残差函数 ResNet 2015 ILSVRC winner （152层） 错误率：3.57% 残差单元 CNN 可视化：滤波器 AlexNet中的滤波器（96 filters [11x11x3]） Ngram特征与