人工智能-深度学习与神经网络-2-.pptxVIP

深度学习与神经网络2

参考讲义《深度学习》第4-5章:4.3，5.9第6章：6.1，6.2，6.3，6.4，6.5第9章:9.1-9.3《动手学深度学习》第5章:5.1,5.2,5.3,5.4,5.7第6章:6.1,6.2,6.6,6.7,6.8

主要内容深度学习基础基于梯度的学习，隐藏单元，架构设计正向传播、反向传播和计算图模型构造，参数初始化策略卷积神经网络卷积层，通道，池化层卷积神经网络（LeNet）,VGG，残差网络ResNet循环神经网络：序列建模循环神经网络RNN，双向RNN，深度循环网络门控循环单元GRU，长短期记忆LSTM优化算法

主要内容深度学习基础基于梯度的学习，隐藏单元，架构设计正向传播、反向传播和计算图模型构造，参数初始化策略卷积神经网络卷积层，通道，池化层卷积神经网络（LeNet）,VGG，残差网络ResNet循环神经网络：序列建模循环神经网络RNN，双向RNN，深度循环网络门控循环单元GRU，长短期记忆LSTM优化算法

深度学习基础深度学习算法都可以被描述为：特定的数据集、损失函数、优化过程和模型模型是，优化过程可以定义为求解损失函数梯度为零。神经网络和线性模型的最大区别，在于神经网络的非线性导致大多数我们感兴趣的代价函数都变得非凸。

深度学习基础当模型和损失函数形式较为简单时，上?的误差最小化问题的解可以直接?公式表达出来。这类解叫做解析解（analyticalsolution）。?多数深度学习模型只能通过优化算法有限次迭代模型参数来尽可能降低损失函数的值。这类解叫做数值解（numericalsolution）。小批量（mini-batch）样本的随机梯度下降（stochasticgradientdescent,SGD）。算法实现过程：

深度学习基础先选取?组模型参数的初始值，例如随机选取；接下来对参数进?多次迭代，使得每次迭代都可能降低损失函数的值。在每次迭代中，先随机例均匀采样?个由固定数?训练数据样本所组成的小批量；然后求小批量中数据样本的平均损失有关模型参数的导数（梯度）；最后?此结果与预先设定的?个正数的乘积作为模型参数在本次迭代的减小量。

深度学习基础如针对模型，可定义平方损失函数通常，我们用训练数据集中所有样本误差的平均来衡量模型预测的质量，即在模型训练中，我们希望找出?组模型参数，记为，来使得训练样本平均损失最小：

深度学习基础此模型中，其中，代表每个小批量中的样本个数（批量?小，batchsize），称作学习率（learningrate）并取正数。这?的批量?小和学习率的值是?为设定的，并不是通过模型训练学出的，因此叫做超参数（hyperparameter）。

深度学习基础梯度下降（gradientdescent）假设连续可导的函数f:R→R的输?和输出都是标量这?f′(x)是函数f在x处的梯度。?维函数的梯度是?个标量，也称导数。找到?个常数η0，使得|ηf′(x)|?够小，那么可以将?替换为?ηf′(x)并得到

深度学习基础这意味着，如果我们通过来迭代x，函数f(x)的值可能会降低。因此在梯度下降中，我们先选取?个初始值x和常数η0，然后不断通过上式来迭代x，直到达到停?条件，例如的值已?够小或迭代次数已达到某个值。

深度学习基础隐藏层：不同于输出层，训练数据并没有直接指明其他层应该怎么做。学习算法必须决定如何使用这些层来产生想要的输出，但是训练数据并没有说每个单独的层应该做什么。相反，学习算法必须决定如何使用这些层来最好地实现的近似。因为训练数据并没有给出这些层中的每一层所需的输出，所以这些层被称为隐藏层（hiddenlayer）。

深度学习基础该如何选择隐藏单元的类型，这些隐藏单元用在模型的隐藏层中。如整流线性单元大多数的隐藏单元都可以描述为接受输入向量x，计算仿射变换，然后使用一个逐元素的非线性函数g(z)。logisticsigmoid激活函数

双曲正切激活函数

深度学习基础

架构设计架构（architecture）一词是指网络的整体结构：它应该具有多少单元，以及这些单元应该如何连接。大多数是链式结构：主要的架构考虑是选择网络的深度和每一层的宽度。万能近似定理。另外一个关键点是如何将层与层之间连接起来。