深度学习理论.pdfVIP

深度学习理论

前段时间，跟部门同事分享了深度学习相关的⼀些理论基础，在此记录⼀下。仅供后续学习和复习。

⽬

1、背景及现状

2、Embeding

3、DNN

4、CNN

5、RNN（LSTM）

6、应⽤（结合⾃⾝的应⽤案例）

（1）情感分析/类⽬预测（⽂本分类）

（2）NER/POSTAGGING（标注、命名实体识别）

（3）流量预测

（4）CTR预估

、总结与挑战

⼀、背景与现状

上图基本说明深度学习的发展历史，简要说明如下：

1、MCP⼈⼯神经元模型，但是还是⽐较简单的单层感知机的形式，改模型被证明是⼀种线性模型，只能解决线性问题，就连最简单的异或

都⽆法正确分类。于是迎来了神经⽹络的第⼀次低⾕。

2、到了1986年，由于BP算法的发明，⼈们提出了多层的神经⽹络，当时被证明是可以逼近任何⼀个连续的函数。(包括⾮线性问题)。那个

时候⽐较有代表性的是BP神经⽹络；然⽽当时提出的⽹络缺乏理论⽀持，并且⼜被指出BP反向传播算法存在梯度消失的情况，⼜⼀次让深

度学习陷⼊⾕底。

3、2012年，再⼀次ImageNet图像识别⽐赛中，Hinton团队采⽤了CNN构建的AlexNet⽹络，直接碾压第⼆名，获得⽐赛冠军。当时

AlexNet的创新点是：（1）采⽤ReLU激活函数，能够解决梯度消失的问题。（2）采⽤GPU对计算进⾏加速（3）添加了DropOut层减少过

拟合，增强泛化能⼒。

⼆、Embeding

（1）Word2Vec

该⽅法是⼀个三层的神经⽹络，分别利⽤CBOW（利⽤上下⽂预测当前单词）和Skip-Gram（利⽤当前单词预测上下⽂）两种⽅式进⾏训

练。

CBOW:

Skip-Gram：

这⾥需要注意的是，

1）三层的神经⽹络结构。其中输出层为了减少算法的复杂度，采⽤Huffman编码树的形式进⾏编码输出。即输出⼀颗树型结构。

2）训练过程中，实际是需要两次遍历预料，第⼀次遍历构建输出的Huffman树和字典，第⼆次遍历进⾏训练。

（2）Paragraph2Vec、Doc2vec

该⽅法类似word2vec，只是在训练的过程中，增加了paragraphvector（段落向量）

（3）Glove

该⽅法⽤的是词的共现矩阵通过矩阵分解得到全局的信息，并且得到每个词对应的全局词向量，

再根据CBOW的思想（利⽤上下⽂预测当前单词的概率，这⾥的概率就是共现矩阵中共现概率⽐值）进⾏优化全局词向量，进⽽得到最

优的词向量。

三、DNN

1、神经⽹络的思想源于⽣物医学上的感知器，启⽤计算机模拟如下：

，

典型的DNN模型如下所⽰：

前向输⼊后向传播：

这⾥主要讲解⼀下训练过程中是如何训练的，参数是如何更新迭代的，这⾥采⽤⼀个例⼦进⾏说明：

假如有这样⼀个⽹络：

第⼀层是输⼊，第⼆层是隐藏层，第三层是输出层。

（1）前向运算：

1）第⼆层输出，如下所⽰：

2）第三层输出：

则⼀般通⽤公式如下：

，

反向传播（BP算法）：（这⾥需要理解为何需要反向传播？主要是为了更新⽹络参数）

我们知道前向传播的算是函数如下：

，进⼀步展开得到如下：

对损失函数求导可得：

我们假设：，则导数可以变换成如下所⽰：

我没来看看对应的

则有：，即

得到了梯度之后，我们即可得到每层的权重更新的⽅法。

四、CNN

⾸先来看⼀下CNN的⽹络结构及特性：（1）局部感知，（2）权值共享。从整体上，采⽤通信⾥⾯的知识理解CNN，本质是⼀个滤波

器，只是该滤波器是通过卷积的⽅式进⾏滤波。这⾥需要注意的地⽅是，卷积层的输出神经元个数分别维护⼀个卷积算⼦的权重。每个输出

的神经元可以理解成就是⼀个滤波器，多少个神经元就有多少个滤波器。（在分享时，发现很多⼈这⾥不是很理解。。。）

例如：

，假设我们的卷积因⼦

，则有如下所⽰：

五、RNN（LSTM）

经典RNN结构如下所⽰：这⾥由于篇幅的问题，本来是也想说⼀下它的训练过程中参数是如何更新的。这⾥就略过，感兴趣的可以留⾔。主

要跟CNN类似，不同的