人工神经网络_深度学习.ppt

人工神经网络及其应用 第七讲深度学习 主讲人:方涛 第七讲深度学习 主讲内容 §7.1研究背景 §7.2从BP网络看深度学习 §7.3几种典型的深度学习模型 §7.4开源深度学习框架 §7.5深度学习的未来 571研究背景 2016年--人工智能 (AI)莫基60周年 约翰·麦卡锡(1927-201) sP之父一不走寻常路的常识逻辑学家 1956年,约翰麦卡锡召集了一次会议来讨论人工智能末来的发展 方向,开启了A的发展 21世纪初,深度学习”的出现,A研究获得了长足的进步 没有大数据,没有“大计算”,就没有人工智能的今天! 571研究背景 Marvin Minsky 人工智能之父和框架理论的创立者 MIT ALLab创始人之 1970年获得图灵奖 美国工程院和美国科学院院士 1969: Perceptron(感知器)--神 经网络的局限性(深度学习的前身 在近60年的人工智能历史中,马文明斯 基一直是一位闪耀着耀眼光彩的杰出的 人工智能权威,是当之无愧的人工智能」 父。(李德毅院士) 1927-2016 明斯基在1950年进入普林斯顿大学攻读数学系的博士硏究生学位,比我晚一 年。我们很快意识到,我们两人都对人王智能很感兴趣。事实上,当时明斯 基已经对如何实现人工智能颇有想法了,这一点在之后他设计和建造的世界 上第一个神经网络模拟器 Snare上得到了证实 John McCarthy人工智能先驱,LISP语言之父,图灵奖获得者) 57I研究背景 2016年阿尔法狗( Alpha Go)4:1大胜 围棋9段李世石高手,AI重大历史时刻 主要设计者--位于伦敦 Google旗下 DeepMind公司 大卫·席尔瓦( David Silver)-剑桥大学计算 :机科学学士,顾士,加拿大间尔伯塔大学计算机科 「学博士 黄士杰( Aia huang),台澚交通大学计算机科学学一 士,台湾师范大学计算机科学硕士 和博士,加拿大 可尔伯塔大学计算机科学博士后 “监督学习的策略网络( Policy Network) 通过13层全连接网络,反复训练围棋棋盘布局,调整参数,以最 佳概率预测落子选择( Move picker),如何下棋子 “价值网络( Value network) 给定棋子位置,预测每一个棋手赢棋的可能,就是计算局面 57I研究背景 专注于神经网络几十年 1985年,提出 Boltzmann机 1986年,提出受限Bo| tzmann机、BP算法 2006年,提出神经网络进行降维 开启了深度学习时代,并在随后的 mageNet 图片识别的比赛,取得了非常有说服力的结果一 Geoffrey-. Hinton(74%-85%),震撼了学术界 加拿大多伦多大学教授 Q Hinton, G and salakhutdinov, R(2006).Reducing the dimensionality of data with neural networks. Science, 3B3( 9 Hinton, G. E (2002). Training products of experts by minimizing contrastive divergence Neural Comp., 14(8): 1771-1800 Q Hinton, G. E, Dayan, P, Frey, B.J., and Neal, R. M. (1995). The wake-sleep._ algorithm for unsupervised neural-networks. Science, 268: 1158-1160 Q Hinton, G. E and Sejnowski, T.E. (1986). Learning and relearning in Boltzmann machines. In Parallel Distributed Processing, volume I, pages 282-317. MIT Press o Rumelhart, Hinton, Williams, Learning Representations by Back-propagating errors, Nature,1986,323(6088):533-536 57I研究背景 2012年6月,《纽约时报》披露了 Andrew n Google brain.项目 斯坦福大学教授 用16000个 CPU Corel的并行计算平台训练一种称为“深度 大规模计算机系统方神经网络”(DNN, Deep Neural Networks)的机器学 面的世界顶尖专家 习模型(内部共有10亿个节点) -effDean 在语音识别和图像识别等领获得了巨大的成功