深度学习课件.pptx

深度学习;CNN网络 ;神经网络;神经网络其实就是按照一定规则连接起来的多个神经元。上图展示了一个全连接(full connected, FC)神经网络。;常用的激活函数：sigmoid、tanh、relu 作用：增加神经网络模型的非线性因素，使得神经网络可以更好的解决较为复杂的问题。;sigmoid;Tanh(x);ReLU;Leaky RELU 函数;ELU (Exponential Linear Units) 函数;对于神经网络的学习过程，大致分为如下的几步： 初始化参数，包括权重、偏置、网络层结构，激活函数等等 循环计算? 正向传播，计算误差 反向传播，调整参数 返回最终的神经网络模型;;梯度是一个向量，它指向函数值上升最快的方向。显然，梯度的反方向当然就是函数值下降最快的方向了。我们每次沿着梯度相反方向去修改的值，当然就能走到函数的最小值附近。 函数的梯度的定义就是它相对于各个变量的偏导数 ;CNN的应用;卷积神经网络（CNN）;全连接层;32x32x3图像 - 展成3072 x 1;卷积层;32x32x3图像 - 保留空间结构;32x32x3图像 ;卷积层;示例;预览;空间维数的计算;空间维数的计算;空间维数的计算;空间维数的计算;空间维数的计算;卷积过程;问题;用零填充边界;举例;举例;总结;1x1卷积核;1x1卷积核;CNN常用框架;CNN常用框架;CNN的特点;局部感知;权值共享;核心思想;池化层;池化层;最大池化层;卷积神经网络结构;卷积神经网络示例;LeNet-5;RNN的应用;对于序列化的特征任务，都适合用RNN来解决：;RNN的分类;Recurrent Neural Networks: Process Sequences;Recurrent Neural Network;We can process a sequence of vectors x by applying a recurrence formula at every time step: ;We can process a sequence of vectors x by applying a recurrence formula at every time step:;(Simple) Recurrent Neural Network;RNN的展开图;RNN: Computational Graph;RNN: Computational Graph: Many to Many ;RNN: Computational Graph: Many to One;RNN: Computational Graph: One to Many;Sequence to Sequence: Many-to-one + one-to-many;Backpropagation through time;梯度截断（Gradient Clipping）?;Truncated Backpropagation through time;Truncated Backpropagation through time;Vanilla RNN Gradient Flow;Simple-RNN在实际应用中并不多，原因： 如果输入越长的话，展开的网络就越深，对于“深度”网络训练的困难最常见的是 Gradient Explode 和 Gradient Vanish 的问??。 ?Simple-RNN基于先前的词预测下一个词，但在一些更加复杂的场景中，例如，“I grew up in France… I speak fluent French” “France”则需要更长时间的预测，而随着上下文之间的间隔不断增大时，Simple-RNN会丧失学习到连接如此远的信息的能力。 ;LSTM;?;RNN和LSTM框图; LSTM的核心思想;逐步理解 LSTM之遗忘门;逐步理解 LSTM之输入门;逐步理解 LSTM;逐步理解 LSTM之输出门;Other RNN Variants;GRU(Gated Recurrent Unit);Summary;实例1 使用RNN网络拟合回声信号序列;实例描述;样本数据;第一步：定义参数生成样本数据;第二步：定义占位符处理输入数据;第三步：定义网络结构;构建网架结构;第四步：建立session训练数据;第五步：测试模型及可视化;第六步：输出结果;实例2 利用RNN训练语言模型;实例描述;准备样本;第一步：定义基本工具函数;第二步：样本预处理;样本预处理结果;第三步：设置参数定义占位符;第四步：定义网络结构;第五步：定义优化器;第六步：训练模型;第八步：输出结果