ucas模式识别9神经网络03.docx

中国科学院大学计算机与控制学院硕士课《模式识别》2016.11.12, 国科大, 北京怀柔第6章第3讲人工神经网络Artificial Neural Networks向 世 明smxiang@助教： 杨学行(xhyang@); 吴一超(yichao.wu@)内容提要介绍– 发展历史– 网络结构基本模型– 单层感知器、多层感知器、RBF网络扩展模型– Hopfield网络、RBM、DNN、CNN、Autoencoder、 RNN、LSTM等第九节深度学习6.9.1 深度学习浪潮！Deep Learning Since 2006 (vol. 313, pp. 504-507)Neural networks are coming back!6.9.1 深度学习浪潮！深度神经网络是传统人工神经网络的扩展，是人 工智能领域的热点研究方向–深度学习概念由Hinton等人于2006年提出。– 随后，面向深度信念网络的非监督贪心逐层训练算法 为深层神经网络的训练带来了希望。– LeCun等人提出的卷积神经网络向深度化发展。深度神 经网络在语音识别、图像识别等诸多应用领域取得了 空前的成功。– 为大数据领域的应用带来曝光－阿里巴巴、百度、谷 歌、腾讯、滴滴、…深度学习浪潮！Answer from G. Hinton， 2012.1096%, 2015 93%, 2014 89%, 2013 85%, 2012 74%, 2011 72%, 20106.9.1 深度学习浪潮！? 时代背景-数据爆炸图像数据产品推荐文本数据社交网络语音数据科学计算6.9.1 深度学习浪潮！? 时代背景-计算性能提升6.9.1 深度学习浪潮！Geoffrey HintonJürgenYann Lecun Yoshuo BengioStephane MallatAndraw NgSchmidhuberRuslanBruno A.Stephen WrightHonglak LeeSalahutdinov Gramham TaylorRob FergusOlshausenMost of them are focusing on Deep learning and Feature Learning6.9.1 深度学习浪潮！Academicals– –Machine Learning @ UofTGeoffrey E. Hinton, Rich Zemel, Ruslan Salakhutdinov, Brendan Frey, Radford Neal– Universitéde Montréal: LISA LabYoshua Bengio, Pascal Vincent, Aaron Courville, Roland Memisevic– New York University: Yann Lecun’s andRob Fergus’ group– Stanford University: Andrew Ng’s group– UBC –Nando de Freitas’s group– UC Berkeley –Bruno Olshausen’s group– University of Washington –Pedro Domingos’ group– University of Michigan –Honglak Lee’s group6.9.1 深度学习浪潮！Industrial– Google: Jeff Dean, Samy Bengio, Jason Weston, etc.– MSR: Li Deng et al.– Facebook: Yann Lecun et al.– IBM Research –Brian Kingsbury et al.– Kai Yu et al. (before 2015 @Baidu)– Huawei: Xiaogang Wang et al.– Alibaba: Xiansheng Hua– Tencent:– Didi:? 深度学习“Deep learning is a branch of machine learning based on a set of algorithms that attempt to model high-level abstractions in data by using multiple processing layers with complex structures or otherwise,composed of multiple non-linear transformations.”(Nov. 2015)“Deep learning is a set of algori