动态驱动递归网络介绍..doc

第15章 动态驱动递归网络 15.1 介绍 给定多层感知器作为基本模块，应用全局反馈可以有不同的形式。反馈可以从多层感知器的输出神经元到输入层。而且另一个可能的全局反馈可以从网络的隐单元到输入层。 递归网络有两个基本功能： 联想记忆 输入输出映射网络 递归网络动态地响应外部应用的输入信号,称递归网络为动态驱动递归网络.而且，反馈的应用使得递归网络获得状态表示. 优势: 大大减少记忆需求. 本章分四部分：体系结构，理论，学习算法和应用。 第一部分15.2讨论递归网络的结构。 第二部分，包括15.3节至15.5节，讨论递归网络的理论部分。15.3讨论了状态空间模型和相关的可控性和可观察性的问题。15.4导出了一个状态空间模型的等价模型，被称为有外部输入的非线性自回归的模型。15.5讨论了递归网络计算能力的一些理论问题。 第三部分，包括15.6节至15.12节，讨论递归网络的学习算法和相关问题.开始在15.6节有个综述，15.7讨论了在第4章的材料基础上所建立的通过时间的反向传播算法.8讨论了另一个流行算法：实时回归学习. 15.2 递归网络体系结构 递归网络的结构布局有很多不同形式。本节我们讨论了四个特殊结构，每一个都强调了全局反馈的一种特殊形式1。他们都有如下特点： 都有结合了静态多层感知器或一部分。 都利用了多层感知器的非线性映射能力。 输入输出递归网络 图15.1显示了一个多层感知器的自然推广得到的递归网络的模型。模型有唯一的输入，被应用到q个单元的分支延迟线记忆。单一的输出通过另一个q个单元分支延迟线记忆反馈到输入。利用两个分支延迟线记忆的内容反馈到多层感知器的输入。模型输入的当前值用u(n)代表，相对应的输出用y(n+1)表示；也就是输出领先输入一个时间单位。因此应用到多层感知器输入层的的信号向量的数据窗口数据如下： 现在和过去的输入，即u(n), u(n-1),…… u(n-q+1),表示来自网络外部的输入。 输出的延迟值，即y(n), y(n-1),…… y(n-q+1),在此基础上对y(n+1)进行回归。 有外部输入的非线性自回归模型(nonlinear autoregressive with exogenous inputs model, NARX)2。NARX的动态行为描述如下： y(n+1)=F(y(n),…,y(n-p+1),u(n),…,u(n-q+1)) 状态空间模型 状态空间模型,隐层的神经元定义了网络的状态。隐层的输出通过一个延迟模块反馈回输入。输入层为反馈节点和源节点联合。网络是通过源节点和外部连接的。用于将隐层输出反馈回输入层的延迟单元的数目决定了模型的阶数。m(1维的向量u(n)代表输入，q(1向量x(n) 代表隐层在n时刻的输出向量。我们可以用下列两个联立方程组描述在图15.2中的模型的动态行为： x(n+1)=f(x(n),u(n)) y(n)=Cx(n) 这里f(()是一个刻划隐层特征的非线性函数，C是代表输出层特征的的突触权值矩阵。隐层是非线性的，但输出是线性的。 回归多层感知器 回归多层感知器，它有一个或多个隐层，同样的原因，静态多层感知器比那些用在单个隐层的感知器更有效和节约。RMLP的每一个计算层对它的邻近层有一个反馈，如图15.4所示，此时RMLP有两个隐层3。 可用如下联立方程组描述： x1(n+1)=(1(x1(n),u(n)) x11(n+1)=(11(x11(n),x1(n+1)) x0(n+1)=(0(x0(n),uk(n+1)) （15.4） 这里(1(. , .), (11(. , .), …….(0(. , .)分别表示代表第一隐层，第二隐层 ……和RMLP输出层的激活函数；K表示网络中隐层的数目。 二阶网络 在图15.2的状态空间模型中，我们用“阶”来表示隐层的数目，其输出通过延迟单元模块反馈回输入层。 例如：一个多层感知器神经元k的诱导局部域vk定义如下： （15.5） 这里xj源于隐层神经j的反馈信号，ui是输入层应用于节点i的源信号；w表示网络中对应的突触权值。把方程15.5所描述的神经元称为一阶神经元。但是，有时诱导局部域vk由乘法组成，表示如下： (15.6) 我们称这里神经元为二阶神经元。二阶神经元k用了单一的权值wkij ，使得它和输入输出信号i，j连接起来。 二阶神经元组成了基本的二阶递归网络(Giles et al,1990)，它的一个例子如图15.5所示。网络接受时间顺序的输入并且动态进行发展，由下方程组所定义：