深度学习课件.pptx

深度学习;神经网络

CNN网络

训练CNN网络

RNN网络

LSTM网络

GRU网络;神经网络;神经网络其实就是按照一定规则连接起来的多个神经元。上图展示了一个全连接(fullconnected,FC)神经网络。;常用的激活函数：sigmoid、tanh、relu

作用：增加神经网络模型的非线性因素，使得神经网络可以更好的解决较为复杂的问题。

sigmoid ?Tanh(x) ?ReLU;sigmoid;Tanh(x);ReLU;LeakyRELU函数;ELU(ExponentialLinearUnits)函数;对于神经网络的学习过程，大致分为如下的几步：;反向传播;梯度是一个向量，它指向函数值上升最快的方向。显然，梯度的反方向当然就是函数值下降最快的方向了。我们每次沿着梯度相反方向去修改的值，当然就能走到函数的最小值附近。

函数的梯度的定义就是它相对于各个变量的偏导数;CNN的应用;卷积神经网络（CNN）;全连接层;32x32x3图像-展成3072x1;卷积层;32x32x3图像-保留空间结构;32x32x3图像;卷积层;示例;预览;空间维数的计算;空间维数的计算;空间维数的计算;空间维数的计算;空间维数的计算;卷积过程;问题;用零填充边界;举例;举例;总结;1x1卷积核;1x1卷积核;CNN常用框架;CNN常用框架;CNN的特点;局部感知;权值共享;核心思想;池化层;池化层;最大池化层;卷积神经网络结构;卷积神经网络示例;LeNet-5;RNN的应用;对于序列化的特征任务，都适合用RNN来解决：

情感分析

关键字提取

语音识别

机器翻译

股票分析;RNN的分类;RecurrentNeuralNetworks:ProcessSequences;RecurrentNeuralNetwork;Wecanprocessasequenceofvectorsxbyapplyingarecurrenceformulaateverytimestep:

oldstate;Wecanprocessasequenceofvectorsxbyapplyingarecurrenceformulaateverytimestep:;(Simple)RecurrentNeuralNetwork;RNN的展开图;RNN:ComputationalGraph;RNN:ComputationalGraph:ManytoMany;RNN:ComputationalGraph:ManytoOne;RNN:ComputationalGraph:OnetoMany;SequencetoSequence:Many-to-one+one-to-many;Backpropagationthroughtime;梯度截断（GradientClipping）;TruncatedBackpropagationthroughtime;TruncatedBackpropagationthroughtime;VanillaRNNGradientFlow;Simple-RNN在实际应用中并不多，原因：

如果输入越长的话，展开的网络就越深，对于“深度”网络训练的困难最常见的是GradientExplode和GradientVanish的问题??

Simple-RNN基于先前的词预测下一个词，但在一些更加复杂的场景中，例如，“IgrewupinFrance…IspeakfluentFrench”“France”则需要更长时间的预测，而随着上下文之间的间隔不断增大时，Simple-RNN会丧失学习到连接如此远的信息的能力。;LSTM;LongShortTermMemory(LSTM);RNN和LSTM框图;LSTM的核心思想;逐步理解LSTM之遗忘门;逐步理解LSTM之输入门;逐步理解LSTM;逐步理解LSTM之输出门;OtherRNNVariants;GRU(GatedRecurrentUnit);Summary;实例1

使用RNN网络拟合回声信号序列;实例描述;样本数据;第一步：定义参数生成样本数据;第二步：定义占位符处理输入数据;第三步：定义网络结构;构建网架结构;第四步：建立session训练数据;第五步：测试模型及可视化

每循环100次，将打印数据并调用plot函数生成图像：;第六步：输出结果;实例2

利用RNN训练语言模型;实例描述;准备样本;第一步：定义基本工具函数;第二步：样本预处理;样本预处理结果;第三步：设置参数定义占位符;第四步：定义