深度学习简介.pdfVIP

深度学习简介

深度学习简介深度学习的发展历程作为机器学习最重要的一个

分支，深度学习近年来发展迅猛，在国内外都引起了广泛的关注。然

而深度学习的火热也不是一时兴起的，而是经历了一段漫长的发展史。

接下来我们简单了解一下深度学习的发展历程。

深度学习的起源阶段1943年，心里学家麦卡洛克和数学逻辑学家皮

兹发表论文《神经活动中内在思想的逻辑演算》[1]，提出了MP模型。

MP模型是模仿神经元的结构和工作原理，构成出的一个基于神经网

络的数学模型，本质上是一种模拟人类大脑的神经元模型（这里有必

要说明的是，我们说的模仿其实更准确的说法应该是参考，计算机领

域的人工神经网络的确是受到生物学上的神经网络的启发，但是两者

相差万里，没有直接的可比性。）。MP模型作为人工神经网络的起源，

开创了人工神经网络的新时代，也奠定了神经网络模型的基础。

1949年，加拿大著名心理学家唐纳德赫布在《行为的组织》中提出

了一种基于无监督学习的规则海布学习规则(HebbRule)[2]。海布规

则模仿人类认知世界的过程建立一种网络模型，该网络模型针对训练

集进行大量的训练并提取训练集的统计特征，然后按照样本的相似程

度进行分类，把相互之间联系密切的样本分为一类，这样就把样本分

成了若干类。海布学习规则与条件反射机理一致，为以后的神经网络

学习算法奠定了基础，具有重大的历史意义。

20世纪50年代末，在MP模型和海布学习规则的研究基础上，美国

1

科学家罗森布拉特发现了一种类似于人类学习过程的学习算法感知

机学习[3]。并于1958年，正式提出了由两层神经元组成的神经网络，

称之为感知器。感知器本质上是一种线性模型，可以对输入的训练集

数据进行二分类，且能够在训练集中自动更新权值。感知器的提出吸

引了大量科学家对人工神经网络研究的兴趣，对神经网络的发展具有

里程碑式的意义。

但随着研究的深入，人们发现了感知器模型所存在的不足，它甚至无

法解决最简单的线性不可分问题（例如异或问题）。由于这一不足以

及没有及时推广感知器到多层神经网络中，在20世纪70年代，人工

神经网络进入了第一个寒冬期，人工神经网络的发展也受到了很大的

阻碍甚至质疑。

深度学习的发展阶段1982年，著名物理学家约翰霍普菲尔德发明了

Hopfield神经网络。Hopfield神经网络是一种结合存储系统和二元

系统的循环神经网络。Hopfield网络也可以模

拟人类的记忆，根据激活函数的选取不同，有连续型和离散型两种类

型，分别用于优化计算和联想记忆。但由于容易陷入局部最小值的缺

陷，该算法并未在当时引起很大的轰动。

直到1986年，深度学习之父杰弗里辛顿提出了一种适用于多层感知

器的反向传播算法BP算法[3]。BP算法在传统神经网络正向传播的

基础上，增加了误差的反向传播过程。反向传播过程不断地调整神经

元之间的权值和阈值，直到输出的误差达到减小到允许的范围之内，

或达到预先设定的训练次数为止。BP算法解决了非线性分类问题，

2

让人工神经网络再次引起了人们广泛的关注。

但是由于八十年代计算机的硬件水平有限，运算能力跟不上，以及当

神经网络的层数增加时，BP算法会出现梯度消失的问题等等。这使

得BP算法的发展受到了很大的限制。再加上90年代中期，以SVM为

代表的其它浅层机器学习算法被提出，并在分类、回归问题上均取得

了很好的效果，其原理相较于神经网络模型具有更好的可解释性，所

以人工神经网络的发展再次进入了瓶颈期。

深度学习的爆发阶段2006年，杰弗里辛顿以及他的学生鲁斯兰萨拉

赫丁诺夫正式提出了深度学习的概念。他们在世界顶级学术期刊

《Science》发表的一篇文章中详细的给出了梯度消失问题的解决方

案通过无监督的学习方法逐层训练算法[4]，再使用有监督的反向传

播算法进行调优。该深度学习方法的提出，立即在学术圈引起了巨大

的反响，以斯坦福大学、多伦多大学为代表的众多世界知名高校纷纷

投入巨大的人力、财力进行深度学习领域的相关研究，而后又迅速蔓

延到工业界中。

2012年，在著名的ImageNet图像识别大赛中，杰弗里辛顿领导的小

组采用深度学习模型AlexNet一举夺冠[5]。AlexNet采用ReLU激活

函数，极大程度上上解决了梯度消失问题，并采用