大学课程《机器学习与经济学实证应用》PPT课件：第7讲_深度学习.pptxVIP

1第7讲深度学习算法

主要内容2深度学习基本逻辑BP神经网络卷积神经网络循环神经网络Word2vec词嵌入模型Bert预处理模型

主要内容3深度学习基本逻辑BP神经网络卷积神经网络循环神经网络Word2vec词嵌入模型Bert预处理模型

深度学习基本逻辑4浅层算法与深层算法还是从我们最熟悉的线性回归引入线性的二分类器，但对非线性的数据并不能进行有效分类??

深度学习基本逻辑5深度模型：多层感知机不过，线性组合的线性组合，仍然是线性的

深度学习基本逻辑6激活函数x1ux21x3激活函数f(u)w2wky输入w1w1输出w3

深度学习基本逻辑7常用的激活函数?图1两种S型激活函数

深度学习基本逻辑8Logistic回归：最基础的神经网络用logisticregression来识别猫的图片

深度学习基本逻辑9常用的激活函数?

深度学习基本逻辑10常用的激活函数

深度学习基本逻辑11其他几个概念多层感知机：Multi-LayerPerceptron多层感知机由感知机推广而来，最主要的特点是有多个神经元层，因此也叫深度神经网络（DNN:DeepNeuralNetworks），也可以称为BP神经网络仿生学用词人工神经网络（ArtificialNeuralNetworks）

深度学习基本逻辑12人脑神经网络人类大脑是由大量“神经细胞”（neuralcells）为基本单位而组成的神经网络。神经细胞也称“神经元”（neuros）。人类大脑是由大约860个“神经元”（neurons）相连而构成的“神经网络”（neuralnetwork）。如图所示，一个神经元通过左边的“树突”从其他神经元的“轴突”及“轴突末梢”获取信号，然后神经元的“细胞体”将这些信号进行加总处理。如果这些信号的总量超过某个阈值，则神经元会兴奋起来，并通过轴突向外传输信号，经过神经突出，二维其他神经元的树突所接收。

深度学习基本逻辑13人工神经网络人工神经网络是为了模拟人脑神经网络而设计的一种计算模型，它从结构、实现机理和功能上模拟人脑神经网络。人工神经网络与生物神经元类似，由多个节点（人工神经元）互相连接而成，可以用来对数据之间的复杂关系进行建模。不同节点之间的连接被赋予了不同的权重，每个权重代表了一个节点对另一个节点的影响大小。每个节点代表一种特定的函数，来自其他节点的信息经过其相应的权重综合计算，输入到一个激活函数中并得到一个新的活性值（兴奋或抑制）。美国WarrenMcCulloch与WalterPitts将生物神经元简化为一个数学模型（McCullochandPitts，1943），简称M-P神经元模型。

深度学习基本逻辑14浅层模型与深层模型深度神经网络的基本思想是通过构建多层网络，对目标进行多层表示，以期通过多层的高层次特征来表示数据的抽象语义信息，获得更好的特征鲁棒性理论上，多层网络可以模拟任何复杂的函数Logistic回归、SVM、线性回归等基于统计学习理论的方法都可以看成具有一层隐层节点或不含隐层节点的学习模型，被称为浅层模型深度学习取得成功的原因：大规模数据为深度学习提供了好的训练资源；计算机硬件的飞速发展，特别是GPU的出现，使得训练大规模上网络成为可能

深度学习基本逻辑15神经网络与深度学习神经网络和深度学习并不等价。深度学习可以采用神经网络模型，也可以采用其他模型（比如深度信念网络是一种概率图模型）。由于神经网络模型可以比较容易地解决贡献度分配问题，因此神经网络模型成为深度学习中主要采用的模型。深度学习（DeepLearning）是机器学习的一个分支，指从有限样例中通过算法总结出一般性的规律，并可以应用到新的未知数据上。深度学习采用的模型一般比较复杂，指样本的原始输入到输出目标之间的数据流经多个线性或非线性的组件。深度学习中，每个组件的贡献度分配问题（CreditAssingmentProblem,CAP）是一个关键问题，这关系到如何学习每个组件中的参数。

主要内容16深度学习基本逻辑BP神经网络卷积神经网络循环神经网络Word2vec词嵌入模型Bert预处理模型

BP神经网络17神经网络的损失函数?

BP神经网络18前向传播前向传播指的是信息从第一层逐渐地向高层进行传递的过程。

BP神经网络19??

BP神经网络20前向传播将第二层的前向传播计算过程推广到网络中的任意一层，则：?

BP神经网络21反向传播：梯度下降法基本的模型搭建完成后的，训练的时候所做的就是完成模型参数的更新给定一个初始参数，然后不断迭代更新。参数更新方法：反向误差传播算法（BP神经网络名称由来）

BP神经网络22反向传播：梯度下降法神经网络通常使用梯度下降法训练从而得到参数。而这需要计算神经网络的梯度向量。对于神经网络，最常用的计算梯度向量方