卷积神经网络纯净版).pptVIP

卷积层的误差传播 * 卷积操作 卷积层filter权重梯度的计算 * 卷积层filter权重梯度的计算 * 与误差传播类似，相当于l层 的误差项（sensitivity map）与 l-1层的输出项做卷积操作，得到卷积核（filter）的梯度 池化层的误差传递 大部分池化层没有需要训练的参数，只需要将误差传递。以Max Pooling为例 * Layer l-1 Layer l 池化层的误差传递 * Thank you * * * * 计算机视觉研究所 计算机视觉研究所 计算机视觉研究所 计算机视觉研究所 计算机视觉研究所 计算机视觉研究所 计算机视觉研究所 计算机视觉研究所 计算机视觉研究所 计算机视觉研究所 计算机视觉研究所 Convolutional Neural Networks卷积神经网络 * Contents 机器学习，神经网络，深度学习之间的关系 什么是神经网络 梯度下降算法 反向传播算法 神经网络的训练 什么是卷积 什么是池化 LeNet-5 其它的工作 * Convolutional Neural Networks * 机器学习，神经网络，深度学习之间的关系 Convolutional Neural Networks * 什么是神经网络？ 人工神经网络（Artificial neural network, ANN），简称神经网络（NN） 神经网络其实就是按照一定规则连接起来的多个神经元 神经元： , 每个连接都有一个权值 图1.一个全连接的神经网络 Convolutional Neural Networks 梯度下降算法 * 梯度下降算法是用来求函数最小值的算法 每次沿着梯度的反方向，即函数值下降最快的方向，去修改值，就能走到函数的最小值附近（之所以是最小值附近而不是最小值那个点，是因为我们每次移动的步长不会那么恰到好处，有可能最后一次迭代走远了越过了最小值那个点） Convolutional Neural Networks 反向传播算法（Back Propagation） 反向传播算法是计算多层复合函数的所有变量的偏导数的利器，上面梯度下降的例子中就是求梯度，简单的理解就是链式法则 * 根据链式法则，我们求e对a的偏导和e对d的偏导是如下所示: 可以看出，它们都求了e对c的偏导。对于权值动则数万的深度模型中的神经网络，这样的冗余所导致的计算量是相当大的 BP算法则机智地避开了这种冗余，BP算法是反向(自上往下)来求偏导的。 Convolutional Neural Networks 梯度下降算法+反向传播算法 * Convolutional Neural Networks * Convolutional Neural Networks * Convolutional Neural Networks * Convolutional Neural Networks 什么是卷积？ * 右图展示了卷积的过程，和信号处理的卷积有所区别 卷积降低了网络模型的复杂度（对于很难学习的深层结构来说，这是非常重要的），减少了权值的数量 黄色部分是卷积核 Convolutional Neural Networks 什么是池化？ * 池化层主要的作用是下采样，通过去掉Feature Map中不重要的样本，进一步减少参数数量。 池化的方法很多，最常用的是Max Pooling。Max Pooling实际上就是在n*n的样本中取最大值，作为采样后的样本值。右图是2*2 max Convolutional Neural Networks LeNet-5? * LeNet-5 1. 输入图像是32x32的大小，卷积核的大小是5x5的，由于不考虑对图像的边界进行拓展，则卷积核将有28x28个不同的位置，也就是C1层的大小是28x28。这里设定有6个不同的C1层，每一个C1层内的权值是相同的。 2. S2层是一个下采样层，即池化层。在斯坦福关于深度学习的教程中，这个过程叫做Pool 。但在LeNet-5系统，下采样层比较复杂，由4个点下采样的加权平均为1个点，，因为这4个加权系数也需要学习得到，这显然增加了模型的复杂度。 * LeNet-5 3.?根据对前面C1层同样的理解，我们很容易得到C3层的大小为10x10.?只不过，C3层的变成了16个10x10网络，有16个卷积核。 如果S2层只有1个平面，那么由S2层得到C3就和由输入层得到C1层是完全一样的。但是，S2层由多层，那么，只需要按照一定的顺利组合这些层就可以了。具体的组合规则，在?LeNet-5 系统中给出了下面的表格： 简单的说，例如对于C3层第0张特征图，其每一个节点与S2层的第0张特征图，第1张特征图，第2张