卷积神经网络.pptVIP

卷积层的误差传播 计算机视觉研究所 * 卷积操作 卷积层filter权重梯度的计算 计算机视觉研究所 * 卷积层filter权重梯度的计算 计算机视觉研究所 * 与误差传播类似，相当于l层 的误差项（sensitivity map）与 l-1层的输出项做卷积操作，得到卷积核（filter）的梯度 池化层的误差传递 大部分池化层没有需要训练的参数，只需要将误差传递。以Max Pooling为例 计算机视觉研究所 * Layer l-1 Layer l 池化层的误差传递 计算机视觉研究所 * 一些其他的工作 Rich feature hierarchies for accurate object detection and semantic segmentation Tech report （RCNN， Published in: Computer Vision and Pattern Recognition (CVPR), 2014 IEEE Conference on ） Learning Multi-Domain Convolutional Neural Networks for Visual Tracking（MDNet，Published in: Computer Vision and Pattern Recognition (CVPR), 2016 IEEE Conference on ） DeepTrack: Learning Discriminative Feature Representations by Convolutional Neural Networks for Visual Tracking（Published in: IEEE Transactions on Image Processing ( Volume: 25, Issue: 4, April 2016 ) ） Deep Learning of Appearance Models for Online Object Tracking（Author：M Zhai ， MJ Roshtkhari ， G Mori ） 计算机视觉研究所 * Thank you 计算机视觉研究所 * * * * 计算机视觉研究所 计算机视觉研究所 计算机视觉研究所 计算机视觉研究所 计算机视觉研究所 计算机视觉研究所 计算机视觉研究所 计算机视觉研究所 计算机视觉研究所 计算机视觉研究所 计算机视觉研究所 计算机视觉研究所 Convolutional Neural Networks卷积神经网络 汇报人：袁越 导师：储珺老师 计算机视觉研究所 * Contents 机器学习，神经网络，深度学习之间的关系 什么是神经网络 梯度下降算法 反向传播算法 神经网络的训练 什么是卷积 什么是池化 LeNet-5 其它的工作 计算机视觉研究所 * Convolutional Neural Networks 计算机视觉研究所 * 机器学习，神经网络，深度学习之间的关系 Convolutional Neural Networks 计算机视觉研究所 * 什么是神经网络？ 人工神经网络（Artificial neural network, ANN），简称神经网络（NN） 神经网络其实就是按照一定规则连接起来的多个神经元 神经元： , 每个连接都有一个权值 图1.一个全连接的神经网络 Convolutional Neural Networks 梯度下降算法 计算机视觉研究所 * 梯度下降算法是用来求函数最小值的算法 每次沿着梯度的反方向，即函数值下降最快的方向，去修改值，就能走到函数的最小值附近（之所以是最小值附近而不是最小值那个点，是因为我们每次移动的步长不会那么恰到好处，有可能最后一次迭代走远了越过了最小值那个点） Convolutional Neural Networks 反向传播算法（Back Propagation） 反向传播算法是计算多层复合函数的所有变量的偏导数的利器，上面梯度下降的例子中就是求梯度，简单的理解就是链式法则 计算机视觉研究所 * 根据链式法则，我们求e对a的偏导和e对d的偏导是如下所示: 可以看出，它们都求了e对c的偏导。对于权值动则数万的深度模型中的神经网络，这样的冗余所导致的计算量是相当大的 BP算法则机智地避开了这种冗余，BP算法是反向(自上往下)来求偏导的。 Convolutional Neural Networks 梯度下降算法+反向传播算法 计算机视觉研究所 * Convolutional Neural Networks 计算机视觉研究所 * Convolutional Neural Networks 计算机