- 1、本文档共3页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
- 5、该文档为VIP文档,如果想要下载,成为VIP会员后,下载免费。
- 6、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问请联系我们。
- 7、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 8、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多
第二章 深度神经网络
一、概述
1、基本概念
深度学习( Deep Learning)是一种没有人为参与的特征选取方法,又被称为是无监督的特征学习( Unsupervised Feature Learning)。
深度学习思想的神经网络利用隐含层从低到高依次学习数据的从底层到高层、从简单到复杂、从具体到抽象的特征,而这一特性决定了深度学习模型可以学习到目标的自适应特征,具有很强的鲁棒性。
深度学习的另外一个思想是贪婪算法(greedy algorithm)的思想,其在训练的时候打破了几十年传统神经网络训练方法的“桎梏”,采用逐层训练(greedy layer-wise)的贪婪思想,并经过最后的微调(fine-tuning),这一训练算法的成功也使得深度学习获得了巨大成功。
传统的模式识别方法:
机器学习过程
从最初的传感器得到原始的数据,到经过预处理,都是为了第三步和第四步的特征提取和特征选择,而这个耗时耗力的工作一般要靠人工完成。
这种靠人工的,需要大量的专业知识的启发式的特征提取方法注定要限制机器学习的发展,而深度学习的非监督学习阶段的“盲学习”的特性能够解决该问题,即:深度学习在特征提取和选择时是完全自主的,不需要任何的人工干预。
2、神经网络发展受限之处
多隐含层的网络容易收敛到参数空间的局部最优解,即偏导数为 0 的点,尤其在目标识别中,由于图像的信噪比很低,神经网络很容易陷入局部极小点;
训练算法与网络的初始参数有很大关系,比较容易过拟合;
训练速度慢;
在误差反向传播的训练算法中,层数越深,误差越小,甚至接近于 0,造成训练失败。
误差反向传播算法必须要用到带标签的数据(有导师学习、监督学习),获取带标签的数据十分困难。
3、深度学习的学习算法
深度学习的基本模型从形式上来看和神经网络一致,基本的结构单元都是神经元,由神经元组成网络层,整个网络由输入层,隐含层和输出层组成。
在深度学习理论中,一个网络的学习算法每运行一次,只调整一层网络的参数。在依次对所有层进行这种贪婪(greedy)算法训练之后,再对网络进行一次整体调优(fine-tune),其中第一步称之为预训练(pre-training)。这是整个深度学习理论中的训练算法思想。
在这种训练方式下,即先经过贪婪训练,再整体调优,高维度参数空间中的局部极小点对于最终的训练结果造成的影响可以忽略。
将深度学习的训练思想与误差反向传播算法相对比,将算法第一步的贪婪算法看作是对网络参数的初始化,第二步的整体调优实际中一般用的就是误差反向传播算法,因此深度学习训练算法第一步可以看作是对 BP 神经网络进行一个参数空间上比较“合理”的即比较容易达到最优解的初始化,而这种初始化的方式要比误差反向传播算法的初始化方法(随机初始化)要“高明”的多,因为其更有理论依据,更有说服力。
4、深度学习区别于传统的机器学习的几个方面:
强调了ANN模型结构的深度,与通常的浅层学习相比,深度学习使用更多隐含层,能够学习到从输入到输出更加复杂的非线性关系;
突出特征学习的重要性。通过逐层特征变换,将数据在原始空间的特征表示变换到一个新特征空间,学习输入数据的有效特征表示,使分类或预测变得容易而且精确度得到提高;
深度学习来源于人工神经网络的发展,但是训练的方式与传统的人工神经网络不同,采用逐层训练的方法,然后再对网络参数进行微调;
深度学习模型需要大量数据来学习特征,而浅层学习不需要,使用浅层模型手工设计的特征数据量相对较少。
您可能关注的文档
- 国际结算课后练习与作业(第一章、第二章)及参考答案.docx
- 机床动力学特测试与仿真实验报告.docx
- 金融学概论教案讲义笔记 Chapter 1 货币.docx
- 金融学概论教案讲义笔记 Chapter 2 利息与利率.docx
- 金融学概论教案讲义笔记 Chapter 11 金融与经济发展.docx
- 金融学概论教案讲义笔记 Chapter3 金融市场.docx
- 金融学概论教案讲义笔记 第八章.docx
- 金融学概论教案讲义笔记 第九章.docx
- 金融学概论教案讲义笔记 第六章.docx
- 金融学概论教案讲义笔记 第七章.docx
- 【+初中语文】第三单元写作《布局谋篇》教学设计++统编版语文九年级下册.docx
- 【+初中语文】第6课《藤野先生》教学设计+统编版语文八年级上册.docx
- 初中地理教学的合作竞赛范文.docx
- 2024年02月通辽职业学院2024年引进10名高层次人才笔试历年典型考题及考点研判与答案详解.docx
- 2024年02月福建省连城县教育局2024年公开招聘56名中小学幼儿园新任教师1笔试历年典型考题及考点研判与答案详解.docx
- 2024年02月福建省闽侯县教育局2024年公开招聘305名教师笔试历年典型考题及考点研判与答案详解.docx
- 2024年02月贵州安顺经济技术开发区高级中学招考聘用临聘教师笔试历年典型考题及考点研判与答案详解.docx
- 2024年02月贵州省国有资产监督管理研究和服务中心2024年公开招考1名工作人员笔试历年典型考题及考点研判与答案详解.docx
- 2024年02月西南交通大学宜宾研究院2024年招聘1名工作人员笔试历年典型考题及考点研判与答案详解.docx
- 2024年02月贵州省毕节市百里杜鹃管理区2024年面向社会公开招聘事业单位工作人员203笔试历年典型考题及考点研判与答案详解.docx
文档评论(0)