- 1、本文档共54页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
- 5、该文档为VIP文档,如果想要下载,成为VIP会员后,下载免费。
- 6、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问请联系我们。
- 7、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 8、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多
稀疏自动编码器 §7.3 几种典型的深度学习模型 §7.4 几种典型的深度学习模型 自动编码器(AutoEncoder) 7.3.2深度信任网络DBN 受限 可视层各节点间无连接 隐含层各节点间无连接 可视层作为向量输入 隐含层作为特征检测器 可为二值节点(可取0或1)或实数节点(0~1) 可视层、隐含层的节点数量不定 §7.3 几种典型的深度学习模型 Restricted Boltzman Machine (RBM) RBM的能量 对特定的(v, h),其能量函数定义为 对每种可能的p(v, h)分布满足 Boltzmann 分布 §7.3 几种典型的深度学习模型 RBM的状态更新/重采样 给定可视层每个节点v,隐含层的每个节点hj依下式确定的概率取1(条件独立) 同样,给定隐含层每个节点h,可依下式确定的概率获得可视层各结点的的无偏估计样本(条件独立) §7.3 几种典型的深度学习模型 §7.3 几种典型的深度学习模型 将多个RBM层叠在一起 前一层RBM的隐含层作为后一层RBM可视层的输入 深度信任网络DBN的构成 概率生成模型 多个受限玻尔兹曼机RBM层组成 §7.3 几种典型的深度学习模型 深度信任网络DBN的训练 对比散度CD算法Contrastive Divergence (Hinton, 2002) 预训练获得生成模型的连接权(训练RBM可视层节点和隐节点间的权值 ) 利用Gibbs Sampling 已知v重采样h 已知h重采样v 定义上述操作为一轮,可多轮 依据下式修正连接权wij * 人工神经网络及其应用 第七讲深度学习 主讲内容 §7.1 研究背景 §7.2 从BP网络看深度学习 §7.3 几种典型的深度学习模型 §7.4 开源深度学习框架 §7.5 深度学习的未来 §7.1 研究背景 约翰·麦卡锡(1927-2011) LISP之父—不走寻常路的常识逻辑学家 1956年,约翰.麦卡锡召集了一次会议来讨论人工智能未来的发展方向,开启了AI的发展 2016年人工智能(AI)奠基60周年 21世纪初,“深度学习”的出现,AI研究获得了长足的进步 没有大数据,没有“大计算”,就没有人工智能的今天! Marvin Minsky— 人工智能之父和框架理论的创立者 1927-2016 MIT AI Lab 创始人之一 1970年获得图灵奖 美国工程院和美国科学院院士 在近60年的人工智能历史中,马文-明斯基一直是一位闪耀着耀眼光彩的杰出的人工智能权威,是当之无愧的人工智能之父。(李德毅院士) 明斯基在1950年进入普林斯顿大学攻读数学系的博士研究生学位,比我晚一年。我们很快意识到,我们两人都对人工智能很感兴趣。事实上,当时明斯基已经对如何实现人工智能颇有想法了,这一点在之后他设计和建造的世界上第一个神经网络模拟器Snare上得到了证实。 ( John McCarthy 人工智能先驱,LISP语言之父,图灵奖获得者) 1969:Perceptron(感知器)神经网络的局限性(深度学习的前身) §7.1 研究背景 2016年,阿尔法狗(AlphaGo)4 :1大胜围棋9 段李世石高手, AI重大历史时刻 “监督学习的策略网络(Policy Network)” 通过13层全连接网络,反复训练围棋棋盘布局,调整参数,以最佳概率预测落子选择(Move Picker),如何下棋子 “价值网络(Value Network)” 给定棋子位置,预测每一个棋手赢棋的可能,就是计算局面 §7.1 研究背景 主要设计者位于伦敦Google旗下DeepMind公司 大卫·席尔瓦 (David Silver)剑桥大学计算机科学学士,硕士,加拿大阿尔伯塔大学计算机科学博士 黄士杰(Aja Huang),台湾交通大学计算机科学学士,台湾师范大学计算机科学硕士和博士,加拿大阿尔伯塔大学计算机科学博士后 §7.1 研究背景 Geoffrey E. Hinton 加拿大多伦多大学教授 专注于神经网络几十年, 1985年,提出Boltzmann机 1986年,提出受限Boltzmann机、BP算法 2006年,提出神经网络进行降维 开启了深度学习时代,并在随后的ImageNet图片识别的比赛,取得了非常有说服力的结果(74%-85%),震撼了学术界 ◆ Hinton, G. and Salakhutdinov, R. (2006). Reducing the dimensionality of data with neural networks.Science, 313(5786):504–507. ◆ Hinton, G. E. (2002). Training product
您可能关注的文档
- 人工肱骨头置换术的手术配合教学课件.ppt
- 人工固氮技术—合成氨教学课件.ppt
- 人工呼吸和心肺复苏培训教学课件.ppt
- 人工湖工程教学课件.ppt
- 人工晶体度数的计算公式教学课件.ppt
- 人工晶体分类教学课件.ppt
- 人工髋关节置换适应症选择的基本原则教学课件.ppt
- 人工髋关节置换手术相关知识教学课件.ppt
- 人工髋关节置换术的护理与康复教学课件.ppt
- 人工气道的护理教学课件.ppt
- 2026届高考数学总复习(第1轮)基础版第50讲 直线的方程.pptx
- 《关于组织开展能源领域氢能试点工作的通知》解读及对策.docx
- 二年级数学奇妙的动物世界跨学科项目化学习设计.docx
- 高一美术传承与创新中国近现代美术思政融合课教学设计.docx
- 2025年湖北省省直辖行政单位选调生考试(行政职业能力测验)综合能力测试题带答案.docx
- 2025年温州医科大学仁济学院单招语文测试模拟题库附答案.docx
- 2025年清远职业技术学院单招(语文)测试模拟题库附答案.docx
- 2025年湖北省咸宁市事业单位招聘考试(职业能力倾向测验)题库及答案1套.docx
- 2025年温州大学单招语文测试题库有答案.docx
- 2025年湖北省荆州市单招语文测试模拟题库a4版.docx
文档评论(0)