神经网络介绍PPT详解课件.pptxVIP

神经网络介绍目录 神经网络简要介绍 经典深度神经网络模型 LeNet AlexNetVGGNetNetwork in Network (MIN)GoogLeNetResNet 深度学习框架及实例 深度学习在计算机视觉中的应用目录 神经网络简要介绍 经典深度神经网络模型 LeNet AlexNetVGGNetNetwork in Network (MIN)GoogLeNetResNet 深度学习框架简介 在计算机视觉中的应用神经网络简要介绍第一次兴起（1958年）：感知机，由于没有引入非线性，不能求解异或问题。神经网络兴衰史第二次兴起（1986年）：将BP(Back Propagation)算法用于ANN的训练过程。第三次兴起（2012年）：深度卷积神经网络的兴起，一直到现在。BP算法：信号的正向传播和误差的反向传播。深度卷积神经网络介绍机器学习，神经网络，深度学习之间的关系人工神经网络发展历程第三次浪潮第二次高潮G. E. HintonY. BengioY. LecunAndrew NgRob Fergus第一次高潮SVMVapnik 95BoostingSchapire 95萌芽期1980s2000s1940s1960s感知器模型自适应-线性单元MP 模型阈值加和模型Hebb学习规则Hopfield网络Boltzman 机BP算法深度网络DBNDBMDeep CNN RNNCNNLeCun 98低谷低谷人工神经网络发展历程Deep Learning, Science 2006 (vol. 313, pp. 504-507)两个重要的信息：具有多个隐层的人工神经网络具有优异的特征学习能力，学习得到的特征对数据有更本质的刻画，从而有利于可视化或分类；深度神经网络在训练上的难度，可以通过“逐层初始化”（Layer-wise Pre-training）来有效克服。Neural networks are coming back!人工神经网络发展历程在语音识别取得重大突破2011年以来，错误率降低20?30%!2012年11月，微软在天津的一次活动上公开演示了一个全自动的同声传译系统，讲演者用英文演讲，后台的计算机一气呵成自动完成语音识别、英中机器翻译，以及中文语音合成，效果非常流畅。百度: deep speech人工神经网络发展历程Google Brain项目（纽约时报2012年6月报道）吴恩达2011年开始，Google Brain 项目采用16000个CPU Core的并行计算平台训练“深层神经网络”，在图像识别等领域获取巨大成功！人工神经网络发展历程AlphaGo Master 3:0 柯洁AlphaZeroAlphaGo Zero100:0战胜Lee版本，89:11战胜Master版本！AlphaMasterAlphaGo-LeeAlpha-Fan2016年3月2017年1月2015年10月AlphaGo Lee 4:1 李世石2017年10月AlphaGo Fan 5:0 樊麾AlphaZero:最大特点是无需人类棋谱，仅利用围棋规则人工神经网络发展历程发展基础：数据爆炸：图像数据、文本数据、语音数据、社交网络数据、科学计算等计算性能大幅提高为什么有效浅层神经网络可以近似任意函数，为何多层？深层网络结构中，高层可以综合应用低层信息。低层关注“局部”，高层关注“全局”、更具有语义化信息。为自适应地学习非线性处理过程提供了一种可能的简洁、普适的结构模型。特征提取与分类器可以一起学习。神经网络简要介绍人类视觉机理：?David Hubel和TorstenWiesel发现了视觉系统的信息处理方式，即视皮层的分级特性，获得1981年诺贝尔生理学或医学奖。Inference:prediction,recognitionFeatureselectionFeatureextractionLow-level sensingPreprocessingTraining: during the training phase, a neural network is fed thousands of labeled images of various animals, learning to classify them神经网络简要介绍Input: An unlabeled image is shown to the pre-trained networkFirst Layer: the neurons respond to different simple shapes, like edgesHigh Layer: the neurons respond to more complex structuresTop Layer: the neurons