深度学习概述.pdf

学习目标

了解深度学习的基本概念熟悉基于深度学习的分类模型

掌握常用的深度学习网络

深度学习是机器学习的一个分支。相比于浅层学习方法，深层的结构使得深度学习拥

有更强大的表达能力和泛化能力。近年来，随着深度学习的不断发展，基于深度学习的分

类算法已成为目前主流的分类算法。本章首先深入浅出地介绍深度学习的发展历程、概念、

应用以及未来发展，接着介绍3种常用的深度学习网络，包括卷积神经网络、循环神经网

3

络以及长短期记忆网络，最后给出个基于深度学习的案例，分别介绍如何针对图像、结

构化数据和文本数据构建基于深度学习的分类模型。

5.1深度学习概述

5.1.1深度学习的发展历程

深度学习是机器学习的子领域，是机器学习中基于表征学习思想的技术。深度学习是

人工神经网络在层数以及计算上更深层的版本，它强调从连续的层（layer）中进行学习，逐

步得到原始数据的高层特征表示，并进一步用于分类等各项任务。

深度学习是从神经网络技术中逐步发展而来的，从感知机的提出到神经网络的发展，再

到深度学习的兴起，深度学习的发展历史可以分为3个重要阶段。20世纪40年代到60

年代，感知机模型的提出带来了对人工神经网络的第一次研究热潮。当时的神经网络模型

可以看作一个包含一个或多个隐含层的多层感知机，其具有更大的参数空间和更好的拟合

能力。然而，这期间学术界提出的大部分神经网络模型基本上都是从神经科学角度出发的

简单线性模型。同样，感知机作为一种线性分类模型，它无法学习异或函数或者解决其他

非线性问题，只能在线性可分的数据上收敛。但在现实环境中，亟待处理的大部分数据并

不都是线性可分的，这样的现实状况导致感知机在实际应用中存在一些局限性。

2080

直到世纪年代，反向传播算法在训练神经网络中的成功应用，使得包含多个隐

含层的多层神经网络的训练变得更为高效。同时，此算法的提出，也使得感知机具有解决

非线性问题的能力。然而，在训练深层神经网络时，模型容易出现梯度消失和梯度爆炸等

一系列问题。此外，训练深层次的神经网络需要耗费较大的算力，而当时整个研究领域的

硬件算力还略显不足，这就导致神经网络的层数一直难以增多，在许多任务中难以取得令

人满意的效果。与此同时，一些新兴的机器学习算法（如支持向量机等）展现出不俗的性

能表现与潜力，使得神经网络的相关研究再次陷入沉寂。

进入21世纪，随着各种硬件制造工艺在技术上的不断提升，硬件在算力等各方面都得

到了很大的提高。同时，研究人员发现，对于多层神经网络难以训练的问题，可以采用逐

层预训练的方式进行求解。算力的提升和训练策略上的突破，使得多层神经网络模型的有

效训练成为可能。与此同时，多层神经网络拥有的较大参数空间和较强拟合能力也得以发

挥，为机器学习和人工智能领域注入了新的活力。2012年以后，在数据、算法和算力大力

发展的基础上，深度学习时代来临了。此时，算法得以改进，大量训练样本的支持，再加

上计算能力的进步，这些都使得训练深层、复杂的神经网络成为可能。同时，学术界对深

度学习的研究也逐渐重视起来，新的研究成果也如雨后春笋般不断涌现。

5.1.2深度学习的概念

深度学习中的“深度”是指从输入层到输出层经历的层的数目，即隐含层的层数。数据

模型中包含的层数称为模型的深度（depth）。层数越多，表示网络训练的深度越深。深度

学习的应用方式一般是端到端的形式，不需要手工设计和提取目标特征，而是通过神经网

络直接处理原始数据，自动学习训练样本并输出高层特征，这让深度学习在很多特征设计

较为困难的领域取得了较好的效果，并得到了广泛的应用。传统的机器学习技术，如支持

向量机、逻辑回归、决策树等，它们本质上都是浅层结构算法。传统的机器学习算法对于

复杂的非线性函数关系往往无能为力，如算法在样本有限的情况下表示复杂函数的能力较

弱；并且针对解决复杂问题时的泛化能力也会受到制约。相较于这些浅层算法，深层神经

网络具有更加强大的复杂函数的拟合能力。近年来，随着深度学习技术的快速发展，深度

神经网络包含的网络结构比传统的神经网络更加多样，网络层数也更多，已经达到了数百

层甚至上千层。

“