RNN优化方法：增加网络容量与循环Dropout应用.pdfVIP

Pytorch

深度学习与实战

讲师：日月光华

讲师：日月光华louhh01网易云课堂

一、增加网络容量的通常做法是增加每层单元数或增

加层数。

循环层堆叠

循环层堆叠

二、使用循环dropout来降低过拟合。

对每个时间步应该使用相同的dropout掩码

（dropoutmask，相同模式的舍弃单元），而不是让

dropout掩码随着时间步的增加而随化。

二、使用循环dropout来降低过拟合。

Keras的每个循环层都有两个与dropout相关的参数：

一个是dropout，它是一个浮点数，指定该层输入单元的

dropout比率；

另一个是recurrent_dropout，指定循环单元的dropout比

率。

双向RNN是一种常见的RNN变体，它在某些任务上

的性能比普通RNN更好。它常用于自然语言处理

双向RNN利用了RNN的顺序敏感性：它包含两个普通

RNN，这两个RNN分别沿一个方向对输入序列进行处理

（时间正序和时间逆序），然后将它们的表示合并在一起