深度卷积神经网络final课件.ppt

深度卷积神经网络final; 神经网络简要介绍 经典深度神经网络模型 LeNet AlexNet VGGNet Network in Network (MIN) GoogLeNet ResNet 深度学习框架简介 在计算机视觉中的应用 ;;;Deep Learning, Science 2006 (vol. 313, pp. 504-507);;;在图像处理和计算机视觉中的应用迅速展开;;为什么有效 浅层神经网络可以近似任意函数，为何多层？ 深层网络结构中，高层可以综合应用低层信息。 低层关注“局部”，高层关注“全局”、更具有语义化信息。 为自适应地学习非线性处理过程提供了一种可能的简洁、普适的结构模型。 特征提取与分类器可以一起学习。;神经网络简要介绍;本图取自：/ai-artificial-intelligence-deep-machine-learning/;人工神经网络（Artificial Neural Networks， ANN）;…;;感知机（Perceptron）;ANN基本构成：感知机（Perceptron）+激活函数;;ANN训练：前向输出计算+反向梯度传播（BP算法）;ANN训练：前向输出计算+反向梯度传播（BP算法）;深度神经网络(DNN)--用神经网络模拟大脑的识别过程;深度卷积神经网络介绍;; 深度卷积神经网络介绍 经典深度神经网络模型 LeNet AlexNet VGGNet Network in Network (MIN) GoogLeNet ResNet 深度学习框架 在计算机视觉中的应用;网络模型;图4：LeNet网络结构，来源于文献 [1]。;AlexNet;[2] Alex Krizhevsky, Ilya Sutskever and Geoffrey E. Hinton. ImageNet Classification with Deep Convolutional Neural Networks. NIPS, 2012. ;Conv 11×11+ReLU/96;VGGNet;图：VGG不同级别的网络结构和相应的参数数量（单位为百万），来源于文献 [3]。;VGGNet训练和测试： 多尺度策略： 训练阶段，将图像缩放到不同尺寸S，并随机裁剪224×224的训练样本 测试阶段，将图像缩放到尺寸Q，并对网络最后的卷积层使用滑动窗口进行分类预测，对不同窗口的分类结果取平均。;Network in Network (NIN);MLP卷积;全局均值池化;GoogLeNet;Inception module 优点一： ;Inception module 优点二：;残差网络ResNet;[5] Kaiming He, Xiangyu Zhang, Shaoqing Ren and Jian Sun. Deep Residual Learning for Image Recognition. CVPR, 2016.;图：残差模块，来源于文献[5]。;图：由上到下为VGG-19网络、34层的平常网络和残差网络。图像来源于文献[5]。;图：更深的残差模块，用于更深的网络结构。左图的浅???模块用于构建ResNet-34，右图的 深层模块用于构建ResNet-50/101/152。来源于文献[5]。;图：ResNet在ILSVRC2014 ImageNet数据集上的结果，来源于文献[5]。;图：ResNet在PASCAL和MS COCO数据集上的目标检测结果，来源于文献[5]。; 深度卷积神经网络介绍 经典深度神经网络模型 LeNet AlexNet VGGNet Network in Network (MIN) GoogLeNet ResNet 深度学习框架 在计算机视觉中的应用;深度学习框架;图：2017年3月提交到arXiv上的论文中出现的深度学习 框架比例分布。;Caffe、TensorFlow、MXNet 比较;Caffe、TensorFlow、MXNet 比较;Caffe、TensorFlow、MXNet比较;Caffe、TensorFlow、MXNet优缺点比较;Caffe、TensorFlow、MXNet优缺点比较;Caffe、TensorFlow、MXNet优缺点比较;DCNNs语义分割实例 -从FCNs到PSPNet;全卷积网络（Fully convolutional networks, FCNs）;反卷积网络（Deconvolutional networks, DeconvNet）;反卷积网络（Deconvolutional networks, DeconvNet）;反卷积网络（Deconvolutional networks, DeconvNet