深度学习与TensorFlow实践循环神经网络.pptxVIP

第八章循环神经网络DeepLearningTensorFlow

原则神经网络的缺陷2

3RNN

4Jordan提出的循环神经网络构造

5图8-3Elman循环神经网络构造

RNN的形式化定义6

7老式的Elman循环神经网络的循环图与展开图

8常见的RNN拓扑构造

9RNN的one-to-many构造RNN的many-to-one构造

10RNN的many-to-many（异步）构造RNN的many-to-many（同步）构造

RNN的训练11

12

13Credit：FeifeiLi

14

RNN：计算流图15

RNN：计算流图16权值共享：每个时间步复用相似的权值矩阵

RNN计算流图：manytomany17

RNN计算流图：manytomany18

19

20

21

22

23

24

25反向传播调整权值正向传播信号，计算误差

26截断BP算法：只反向传播部分时间步

27单层RNN权值更新多层RNN权值更新

28双向RNN建模

29RNN应用案例：看图说话

30使用“注意力机制”的看图说话CNN+RNN：CNN负责识别部件分类，RNN负责组织描述语言

31

RNN的问题与LSTM的诞生32

33RNN:上下文较长，无法运用历史信息

34LSTM:长短期记忆：longshort-termmemory

35简易RNN神经元和复合LSTM神经元的对比示意图

36准时间步展开的LSTM网络

37控制记忆单元状态c的4个门

38遗忘门的工作过程输入门的工作过程

39输入门与调整门的组合示意图LSTM隐含层单元的完整逻辑设计

40LSTM关键要素

41GRU优化

42

43防止梯度弥散：不中断的梯度流

44类似于何凯明提出的残差网ResNet！

LSTM与自然语言处理45

46我每解雇一名语言学家，语音识别机器的体现就提高了一点。（EverytimeIfirealinguist,theperformanceofourspeechrecognitionsystemgoesup.）——FredJelinek

47指月指非月——《楞严经?卷二》

48基于一种语言的记录特性，隐藏着语义的信息（statisticalpatternsofhumanwordusagecanbeusedtofigureoutwhatpeoplemean）一种词的意义，就是它的使用方法——维特根斯坦

49怎样记录？找一种计算机能识别的方式

50独热编码没有相似性

51参数共享W(cat)=[0.19,?0.47,0.72...]W(mat)=[0.0,0.6,?0.31,...]

52词嵌入（Wordembedding）

53Bengio：基于神经网络的语言模型

54RNN语言模型的展开形式

55usingatime-delayneuralnetworkorarecurrentneuralnetworkoracombinationofboth

56

57

实战：NLP58

59

60

61

62

63

64

65

66范例8-3运用GRU进行优化（gru.py）