人工智能11反馈神经网络.pdfVIP

《人工智能：算法的视角》卷一草稿 第十一章 反馈神经网络 第十一章 反馈神经网络 如第九章所述，反馈神经网络 （feedback neural network ），或称循环神经网络 （recurrent neural network, RNN ），是包含回路的神经网络，从某一神经元输出的信息，通过网络结构 上的信息回路，再回到该神经元的输入上。当输出回到输入后，会引起输入的变化，从而可 能导致输出变化，这样网络不会经过一次信息的传递就终止运算，而是存在信息的循环往复， 这是网络被称为反馈/循环神经网络的原因，以下简称反馈网络。在反馈网络中，网络所有 输出节点值的集合通常被称为网络状态，网络的变化即是状态的变化。 对于反馈网络，可以从两个视角来认识。第一种视角是稳定性。由于存在信息回路，因 此反馈网络不会像前馈网络那样，只经过一次计算即停止，而是要经过多次的循环往复。我 们希望经过足够的循环往复后，网络输出能不再改变，停在我们所希望的结果上。是否能达 到这样的效果，便是稳定性问题。可以围绕这个问题，来研究和设计循环网络。霍普费尔德 网络与玻尔兹曼机即是这样发展起来的。以下称这种类型的反馈网络为稳定型反馈网络。 第二种视角是时序性。网络可视为一个随时间变化的系统，前一时刻网络处在某一输出 状态下，到下一时刻则变成了另一输出状态，这样使得反馈网络具有时序特性，同时这种时 序特性还使我们可将反馈结构按时间展开成一种非反馈结构。图 11-1 显示了这种转换，其 中图 11-1(a)显示的是一种反馈结构，中间隐含层上两个神经元之间形成相应的回路。对于 其相邻两个时间点上的变化，可以展开成图 11-1(b)所示的结构。显然，就两个相邻时间点 上的网络状态序列的计算而言，图 11-1(a)与(b)两种结构是等效的。当然，反馈网络的动态 变化通常不止两次，而可能是很多次，这样展开以后，则变成了一种深度结构，说明反馈网 络与深度网络之间存在着联系。而反过来看，更说明用简单得多的反馈网络来表达等效的复 杂深度网络是可行的，从而是深度网络的一种可能的发展方向。此外，基于时序性来认识反 馈网络，也使其适合于处理与时序数据相关的应用。Jordan 网络、Elman 网络、双向网络、 长短时记忆网络等即是基于时序性发展起来的网络。以下称这种类型的反馈网络为时序型反 馈网络。 (a) (b) 图 11-1. 反馈网络按时序展开成非反馈结构: (a) 反馈网络结构例；(b) 将(a) 图结构转化为按 两次时序确定的非反馈结构. 不论是稳定型反馈网络还是时序型反馈网络，网络所有输出节点对应输出值的组合通常 被称为网络的当前状态，而所有可能状态的集合则构成了网络的状态空间。反馈网络的工作 过程正是从一个状态变到另一个状态，从而在网络状态空间中形成了一条特定的状态变化轨 迹，不同网络（结构或权值不同）将导致不同的变化轨迹。对于稳定型反馈网络来说，关心 1 《人工智能：算法的视角》卷一草稿 第十一章 反馈神经网络 的是单个状态，是最后所到达的状态 ，最后所达到的稳定状态被称为网络的吸引子 （attractor ），稳定型反馈网络也因此常被称为吸引子网络（attractor network ）。对于时序型 反馈网络来说，关心的则是状态变化轨迹，是按时间展开的一组状态。另外需要指出的是， 反馈网络是依靠网络状态的变化来工作的，因此对于反馈网络来说，输入不是必须的，它可 以在没有输入的前提下，从网络的初始状态开始，迭代演变至最终状态。当然，网络也可以 在有输入的情况下工作，此时最终状态则与输入有关，不同的输入可能导致不同的最终状态 或状态变化轨迹。 下面首先介绍稳定型反馈网络：霍普费尔德网络与玻尔兹曼机，然后介绍时序型反馈网 络：Jordan 、Elman 、双向网络、长短时记忆网络。 11.1 霍普菲尔德网络 霍