第6章循环神经网络.PDFVIP

第 章 循环神经网络 经验是智慧之父，记忆是智慧之母。 谚语 在前馈神经网络中，信息的传递是单向的，这种限制虽然使得网络变得更 容易学习，但在一定程度上也减弱了神经网络模型的能力。在生物神经网络中， 神经元之间的连接关系要复杂的多。前馈神经网络可以看着是一个复杂的函数， 每次输入都是独立的，即网络的输出只依赖于当前的输入。但是在很多现实任 务中，网络的输入不仅和当前时刻的输入相关，也和其过去一段时间的输出相 关。比如一个有限状态自动机，其下一个时刻的状态（输出）不仅仅和当前输 入相关，也和当前状态（上一个时刻的输出）相关。此外，前馈网络难以处理 时序数据，比如视频、语音、文本等。时序数据的长度一般是不固定的，而前 馈神经网络要求输入和输出的维数都是固定的，不能任意改变。因此，当处理 这一类和时序相关的问题时，就需要一种能力更强的模型。 循环神经网络 （ ， ）是一类具有短期记忆能 力的神经网络。在循环神经网络中，神经元不但可以接受其它神经元的信息，也 可以接受自身的信息，形成具有环路的网络结构。和前馈神经网络相比，循环神 经网络更加符合生物神经网络的结构。循环神经网络已经被广泛应用在语音识 别、语言模型以及自然语言生成等任务上。循环神经网络的参数学习可以通过 随时间反向传播算法 来学习。随时间反向传播算法即按照时间 的逆序将错误信息一步步地往前传递。当输入序列比较长时，会存在梯度爆炸 和消失问题 ，也称为长期依赖问题。为了解决这个问题，人们对循环神经网络 进行了很多的改进，其中最有效的改进方式引入门控机制。 此外，循环神经网络可以很容易地扩展到两种更广义的记忆网络模型：递 归神经网络和图网络。 给网络增加记忆能力 年 月 日 给网络增加记忆能力 为了处理这些时序数据并利用其历史信息，我们需要让网络具有短期记忆 能力。而前馈网络是一个静态网络，不具备这种记忆能力。 一般来讲，我们可以通过以下三种方法来给网络增加短期记忆能力。 此外，还有一种增加记忆 能力的方法是引入外部 延时神经网络 记忆单元，参见第节。 一种简单的利用历史信息的方法是建立一个额外的延时单元，用来存储网 络的历史信息（可以包括输入、输出、隐状态等）。比较有代表性的模型是延时 神经网络 （ ， ） 。 延时神经网络在时间维 延时神经网络是在前馈网络中的非输出层都添加一个延时器，记录最近几 度上共享权值，以降低 参数数量。因此对于序 次神经元的输出。在第 个时刻，第 + 1 层神经元和第 层神经元的最近 次输 列输入来讲，延时神经 出相关，即 网络就相当于卷积神经 网络。 h(+1) = (h() h() h() ) 1 +1 通过延时器，前馈网络就具有了短期记忆的能力。 有外部输入的非线性自回归模型