UCAS模式识别9_神经网络03.pdf

中国科学院大学计算机与控制学院硕士课 《模式识别》 2016.11.12, 国科大, 北京怀柔 第6章第3讲 人工神经网络 Artificial Neural Networks 向 世 明 smxiang@ 助教：杨学行(xhyang@); 吴一超(yichao.wu@) 内容提要 • 介绍 – 发展历史 – 网络结构 • 基本模型 – 单层感知器、多层感知器、RBF 网络 • 扩展模型 – Hopfield 网络、RBM 、DNN 、CNN、Autoencoder 、 RNN 、LSTM等 第九节 深度学习 6.9.1 深度学习浪潮！ Deep Learning Since 2006 (vol. 313, pp. 504-507) Neural networks are coming back! 6.9.1 深度学习浪潮！ • 深度神经网络是传统人工神经网络的扩展，是人 工智能领域的热点研究方向 –深度学习概念由Hinton等人于2006年提出。 – 随后，面向深度信念网络的非监督贪心逐层训练算法 为深层神经网络的训练带来了希望。 – LeCun等人提出的卷积神经网络向深度化发展。深度神 经网络在语音识别、图像识别等诸多应用领域取得了 空前的成功。 – 为大数据领域的应用带来曝光－阿里巴巴、百度、谷 歌、腾讯、滴滴、… 6.9.1 深度学习浪潮！ • Answer from G. Hinton ，2012.10 96%, 2015 93%, 2014 89%, 2013 85%, 2012 74%, 2011 72%, 2010 6.9.1 深度学习浪潮！ • 时代背景-数据爆炸 图像数据 产品推荐 文本数据 社交网络 语音数据 科学计算 6.9.1 深度学习浪潮！ • 时代背景-计算性能提升 6.9.1 深度学习浪潮！ Jürgen Geoffrey Hinton Yann Lecun Yoshuo Bengio Stephane Mallat Andraw Ng Schmidhuber Stephen Wright Honglak Lee Ruslan Gramham Taylor Bruno A. Rob Fergus Salahutdinov Olshausen Most of them are focusing on Deep learnin