第六章 循环神经网络.PDFVIP

第六章 循环神经网络 在前馈神经网络中，信息的传递是单向的，这种限制虽然使得网络变得更 容易学习，但在一定程度上也减弱了神经网络模型的能力。在生物神经网络中， 神经元之间的连接关系要复杂的多。前馈神经网络可以看着是一个复杂的函数， 每次输入都是独立的，即网络的输出只依赖于当前的输入。但是在很多现实任 务中，网络的输入不仅和当前时刻的输入相关，也和其过去一段时间的输出相 关。比如一个有限状态自动机，其下一个时刻的状态（输出）不仅仅和当前输 入相关，也和当前状态（上一个时刻的输出）相关。 前馈网络是一个静态网络，明显不能不处理这种情况。此外