- 1、本文档共7页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
- 5、该文档为VIP文档,如果想要下载,成为VIP会员后,下载免费。
- 6、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问请联系我们。
- 7、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 8、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
深度学习简介
深度学习简介深度学习的发展历程作为机器学习最重要的一个
分支,深度学习近年来发展迅猛,在国内外都引起了广泛的关注。然
而深度学习的火热也不是一时兴起的,而是经历了一段漫长的发展史。
接下来我们简单了解一下深度学习的发展历程。
深度学习的起源阶段1943年,心里学家麦卡洛克和数学逻辑学家皮
兹发表论文《神经活动中内在思想的逻辑演算》[1],提出了MP模型。
MP模型是模仿神经元的结构和工作原理,构成出的一个基于神经网
络的数学模型,本质上是一种模拟人类大脑的神经元模型(这里有必
要说明的是,我们说的模仿其实更准确的说法应该是参考,计算机领
域的人工神经网络的确是受到生物学上的神经网络的启发,但是两者
相差万里,没有直接的可比性。)。MP模型作为人工神经网络的起源,
开创了人工神经网络的新时代,也奠定了神经网络模型的基础。
1949年,加拿大著名心理学家唐纳德赫布在《行为的组织》中提出
了一种基于无监督学习的规则海布学习规则(HebbRule)[2]。海布规
则模仿人类认知世界的过程建立一种网络模型,该网络模型针对训练
集进行大量的训练并提取训练集的统计特征,然后按照样本的相似程
度进行分类,把相互之间联系密切的样本分为一类,这样就把样本分
成了若干类。海布学习规则与条件反射机理一致,为以后的神经网络
学习算法奠定了基础,具有重大的历史意义。
20世纪50年代末,在MP模型和海布学习规则的研究基础上,美国
1
科学家罗森布拉特发现了一种类似于人类学习过程的学习算法感知
机学习[3]。并于1958年,正式提出了由两层神经元组成的神经网络,
称之为感知器。感知器本质上是一种线性模型,可以对输入的训练集
数据进行二分类,且能够在训练集中自动更新权值。感知器的提出吸
引了大量科学家对人工神经网络研究的兴趣,对神经网络的发展具有
里程碑式的意义。
但随着研究的深入,人们发现了感知器模型所存在的不足,它甚至无
法解决最简单的线性不可分问题(例如异或问题)。由于这一不足以
及没有及时推广感知器到多层神经网络中,在20世纪70年代,人工
神经网络进入了第一个寒冬期,人工神经网络的发展也受到了很大的
阻碍甚至质疑。
深度学习的发展阶段1982年,著名物理学家约翰霍普菲尔德发明了
Hopfield神经网络。Hopfield神经网络是一种结合存储系统和二元
系统的循环神经网络。Hopfield网络也可以模
拟人类的记忆,根据激活函数的选取不同,有连续型和离散型两种类
型,分别用于优化计算和联想记忆。但由于容易陷入局部最小值的缺
陷,该算法并未在当时引起很大的轰动。
直到1986年,深度学习之父杰弗里辛顿提出了一种适用于多层感知
器的反向传播算法BP算法[3]。BP算法在传统神经网络正向传播的
基础上,增加了误差的反向传播过程。反向传播过程不断地调整神经
元之间的权值和阈值,直到输出的误差达到减小到允许的范围之内,
或达到预先设定的训练次数为止。BP算法解决了非线性分类问题,
2
让人工神经网络再次引起了人们广泛的关注。
但是由于八十年代计算机的硬件水平有限,运算能力跟不上,以及当
神经网络的层数增加时,BP算法会出现梯度消失的问题等等。这使
得BP算法的发展受到了很大的限制。再加上90年代中期,以SVM为
代表的其它浅层机器学习算法被提出,并在分类、回归问题上均取得
了很好的效果,其原理相较于神经网络模型具有更好的可解释性,所
以人工神经网络的发展再次进入了瓶颈期。
深度学习的爆发阶段2006年,杰弗里辛顿以及他的学生鲁斯兰萨拉
赫丁诺夫正式提出了深度学习的概念。他们在世界顶级学术期刊
《Science》发表的一篇文章中详细的给出了梯度消失问题的解决方
案通过无监督的学习方法逐层训练算法[4],再使用有监督的反向传
播算法进行调优。该深度学习方法的提出,立即在学术圈引起了巨大
的反响,以斯坦福大学、多伦多大学为代表的众多世界知名高校纷纷
投入巨大的人力、财力进行深度学习领域的相关研究,而后又迅速蔓
延到工业界中。
2012年,在著名的ImageNet图像识别大赛中,杰弗里辛顿领导的小
组采用深度学习模型AlexNet一举夺冠[5]。AlexNet采用ReLU激活
函数,极大程度上上解决了梯度消失问题,并采用
文档评论(0)