《深度卷积神经网络》.ppt

目录 神经网络简要介绍 经典深度神经网络模型 LeNet AlexNet VGGNet Network in Network (MIN) GoogLeNet ResNet 深度学习框架及实例 深度学习在计算机视觉中的应用 神经网络简要介绍 经典深度神经网络模型 LeNet AlexNet VGGNet Network in Network (MIN) GoogLeNet ResNet 深度学习框架简介 在计算机视觉中的应用 目录 神经网络兴衰史 神经网络简要介绍 第一次兴起（1958年）：感知机，由于没有引入非线性，不能求解异或问题。 第二次兴起（1986年）：将BP(Back Propagation)算法用于ANN的训练过程。 第三次兴起（2012年）：深度卷积神经网络的兴起，一直到现在。 BP算法：信号的正向传播和误差的反向传播。 4 机器学习，神经网络，深度学习之间的关系 深度卷积神经网络介绍 萌芽期 1940s MP 模型 阈值加和模型 Hebb学习 规则 第一次高潮 1960s 第二次高潮 1980s 第三次浪潮 2000s 感知器模型 自适应- 线性单元 Hopfield网络 Boltzman 机 BP算法 SVM Vapnik 95 Boosting Schapire 95 深度网络 DBN DBM Deep CNN RNN G. E. Hinton Y. Bengio Y. Lecun Andrew Ng Rob Fergus 人工神经网络发展历程 低谷 CNN LeCun 98 低谷 Deep Learning, Science 2006 (vol. 313, pp. 504-507) Neural networks are coming back! 人工神经网络发展历程 在语音识别取得重大突破 百度: deep speech 2011年以来，错误率降低2030%! 2012年11月，微软在天津的一次活动上公开演示了一个全自动的同声传译系统，讲演者用英文演讲，后台的计算机一气呵成自动完成语音识别、英中机器翻译，以及中文语音合成，效果非常流畅。 人工神经网络发展历程 Google Brain项目（纽约时报2012年6月报道） 2011年开始，Google Brain 项目采用16000个CPU Core的并行计算平台训练“深层神经网络”，在图像识别等领域获取巨大成功！ 吴恩达 人工神经网络发展历程 100:0战胜Lee版本，89:11战胜Master版本！ AlphaGo Zero 2017年10月 AlphaZero:最大特点是无需人类棋谱，仅利用围棋规则 Alpha-Fan AlphaGo-Lee AlphaMaster AlphaZero 人工神经网络发展历程 为什么有效 浅层神经网络可以近似任意函数，为何多层？ 深层网络结构中，高层可以综合应用低层信息。 低层关注“局部”，高层关注“全局”、更具有语义化信息。 为自适应地学习非线性处理过程提供了一种可能的简洁、普适的结构模型。 特征提取与分类器可以一起学习。 人工神经网络发展历程 发展基础： 数据爆炸：图像数据、文本数据、语音数据、社交网络数据、科学计算等 计算性能大幅提高 神经网络简要介绍 人类视觉机理：  David Hubel和TorstenWiesel发现了视觉系统的信息处理方式，即视皮层的分级特性，获得1981年诺贝尔生理学或医学奖。 Low-level sensing Preprocessing Feature extraction Feature selection Inference: prediction, recognition 本图取自：/ai-artificial-intelligence-deep-machine-learning/ Training: during the training phase, a neural network is fed thousands of labeled images of various animals, learning to classify them Input: An unlabeled image is shown to the pre-trained network First Layer: the neurons respond to different simple shapes, like edges High Layer: the neurons respond to more complex structures Top Layer: the neurons respond to highly complex, abstrac