人工神经网络_深度学习教学课件.pptVIP

稀疏自动编码器 §7.3 几种典型的深度学习模型 §7.4 几种典型的深度学习模型 自动编码器(AutoEncoder) 7.3.2深度信任网络DBN 受限 可视层各节点间无连接 隐含层各节点间无连接 可视层作为向量输入 隐含层作为特征检测器 可为二值节点（可取0或1）或实数节点（0～1） 可视层、隐含层的节点数量不定 §7.3 几种典型的深度学习模型 Restricted Boltzman Machine (RBM) RBM的能量 对特定的(v, h)，其能量函数定义为 对每种可能的p(v, h)分布满足 Boltzmann 分布 §7.3 几种典型的深度学习模型 RBM的状态更新/重采样 给定可视层每个节点v，隐含层的每个节点hj依下式确定的概率取1（条件独立） 同样，给定隐含层每个节点h，可依下式确定的概率获得可视层各结点的的无偏估计样本（条件独立） §7.3 几种典型的深度学习模型 §7.3 几种典型的深度学习模型 将多个RBM层叠在一起 前一层RBM的隐含层作为后一层RBM可视层的输入 深度信任网络DBN的构成 概率生成模型 多个受限玻尔兹曼机RBM层组成 §7.3 几种典型的深度学习模型 深度信任网络DBN的训练 对比散度CD算法Contrastive Divergence (Hinton, 2002) 预训练获得生成模型的连接权（训练RBM可视层节点和隐节点间的权值 ） 利用Gibbs Sampling 已知v重采样h 已知h重采样v 定义上述操作为一轮，可多轮 依据下式修正连接权wij * 人工神经网络及其应用 第七讲深度学习 主讲内容 §7.1 研究背景 §7.2 从BP网络看深度学习 §7.3 几种典型的深度学习模型 §7.4 开源深度学习框架 §7.5 深度学习的未来 §7.1 研究背景 约翰·麦卡锡（1927-2011） LISP之父—不走寻常路的常识逻辑学家 1956年，约翰.麦卡锡召集了一次会议来讨论人工智能未来的发展方向，开启了AI的发展 2016年人工智能（AI）奠基60周年 21世纪初，“深度学习”的出现，AI研究获得了长足的进步 没有大数据，没有“大计算”，就没有人工智能的今天！ Marvin Minsky— 人工智能之父和框架理论的创立者 1927-2016 MIT AI Lab 创始人之一 1970年获得图灵奖 美国工程院和美国科学院院士 在近60年的人工智能历史中，马文-明斯基一直是一位闪耀着耀眼光彩的杰出的人工智能权威，是当之无愧的人工智能之父。（李德毅院士） 明斯基在1950年进入普林斯顿大学攻读数学系的博士研究生学位，比我晚一年。我们很快意识到，我们两人都对人工智能很感兴趣。事实上，当时明斯基已经对如何实现人工智能颇有想法了，这一点在之后他设计和建造的世界上第一个神经网络模拟器Snare上得到了证实。 （ John McCarthy 人工智能先驱，LISP语言之父，图灵奖获得者） 1969：Perceptron（感知器）神经网络的局限性（深度学习的前身） §7.1 研究背景 2016年,阿尔法狗（AlphaGo）4 :1大胜围棋9 段李世石高手， AI重大历史时刻 “监督学习的策略网络（Policy Network）” 通过13层全连接网络，反复训练围棋棋盘布局，调整参数，以最佳概率预测落子选择（Move Picker），如何下棋子 “价值网络（Value Network）” 给定棋子位置，预测每一个棋手赢棋的可能，就是计算局面 §7.1 研究背景 主要设计者位于伦敦Google旗下DeepMind公司 大卫·席尔瓦 （David Silver）剑桥大学计算机科学学士，硕士，加拿大阿尔伯塔大学计算机科学博士 黄士杰（Aja Huang），台湾交通大学计算机科学学士，台湾师范大学计算机科学硕士和博士，加拿大阿尔伯塔大学计算机科学博士后 §7.1 研究背景 Geoffrey E. Hinton 加拿大多伦多大学教授 专注于神经网络几十年， 1985年，提出Boltzmann机 1986年，提出受限Boltzmann机、BP算法 2006年，提出神经网络进行降维 开启了深度学习时代，并在随后的ImageNet图片识别的比赛，取得了非常有说服力的结果（74%-85%），震撼了学术界 ◆ Hinton, G. and Salakhutdinov, R. (2006). Reducing the dimensionality of data with neural networks.Science, 313(5786):504–507. ◆ Hinton, G. E. (2002). Training product