时空神经网络在非线性系统辨识中的应用-智能与网络化系统研究所.doc

时空神经网络在非线性系统辨识中的应用 摘要：本文提出了一种叫做时空神经网络的算法，这种神经网络是将一种线性滤波运算代替传统的权值乘法运算[1]，同时还从该种网络中推导出了一种训练算法。将非线性系统辨识问题是时空网络的一种应用。在系统领域，基于传统方法来成功得到非线性系统辨识的结果是一个富有挑战性的问题，神经网络方法就是基此提出的，但需要更深入的研究。通过对一个简单例子应用本文提出的学习规则，就可以看出时空神经网络在非线性系统辨识方面的能力了。最后给出了仿真结果，尽管如此，若将该种辨识算法应用到一个实际的系统目前仍处于研究中。 1. 介绍 在现实世界中，大多数系统都能由很多相互作用的复杂的物理过程来表征，而这种表示方法可理解性差，使后续基于数学模型的工作较难深入。原子核能量系统就属于这种类型，涉及到许多的物理反应过程，虽然容易理解，却难以度量。一种可选择的用于处理如此复杂系统的方法就是经验建模，即假设一个系统模型结构，然后根据模型的行为估计模型的参数，如在一个输入输出已处于稳定状态下的实际对象中加入某些特定的扰动。这种数学系统方法称为系统辨识，已经经历了一个深远的历史。系统模型辨识，无论是静态还是动态，都可以应用于不同的场合和目的，如心脏监测系统、初始故障检测与诊断、信号确认、自适应控制等。 尽管有大量关于系统辨识方面的文献，但在非线性动态系统辨识方面仍缺乏有用的算法和成功的结论。许多学者都是把研究集中在线性领域，如许多重要的理论和实际结论[2]。另一方面，在非线性领域，目前有如下两种方法：（1）看作一个线性系统，辨识非线性模型结构的参数；（2）辨识非线性动态系统的结构[3]。这两种方法都具有同样的效果，尽管如此，仍旧没有更好的方法能够从试验中得出结果。 最近，在大量文献中有许多关于ANN应用的研究成果，一种独特的多层前馈网络，并且应用在静态与动态系统中（如[4],[5],[6],[7]）。不同的方法导致对待辨识系统有不同的假设，使得网络的分类也成了一个问题。另外，一些学者将他们的研究应用到非常简单的线性系统中，而其他的学者又尝试着应用到非线性动态系统中，他们各自都取得了不错的成就。尽管如此，由于这个领域尚处于起步的开始阶段，在将ANN应用到非线性动态系统辨识中仍旧没有形成什么可供参考的方法。在本文，我们应用了一种神经网络来进行系统辨识，这种方法对待辨识系统有一个最低的要求，即该系统可辨识。 本文提出了一种相对未被研究过的神经网络，叫做时空神经网络。这种网络的神经元具有时间处理能力。神经元的函数可以用公式表示，即用一个线性滤波运算代替传统的权值的乘法运算。这种神经元函数能应用到诸如系统辨识、信号处理及自适应控制等需要对值进行时间处理的领域。目前对时空神经网络方面研究的文献非常有限，在本文中，对时空神经网络在非线性系统辨识中的应用进行了探讨。然后提出了一种广义的时空网络学习算法。这种算法是基于BP算法概念基础之上的[8][9]。这将会在稍后进行描述。 2. 时空网络训练 在一个时空神经元中，用一个线性滤波运算来代替权值乘法运算，这是一种直接的系统混合记忆方法。本文将这种算法应用在一个递归时空网络，当然这种算法也能直接应用到其它的网络结构中。 将结点N分成三个集合：I，为输入结点的集合，H，为隐层结点的集合，O，为输出结点的集合。令yk（t）为第k个结点在时刻t的输出（其中，对于所有，表示网络的输入）。则网络的输出为： 其中： 表示滤波器的阶次，f为S型函数。与一般的递归网络不同的是，这种网络的输出取决于权值与结果现在及过去的输出的和。定义误差为： 其中表示期望输出。权值是根据最速下降法来调整的，其式如下： 对上式进行用代替式中原始的向后传播公式[9]有： 从而可以得出如下式子： 其中：，表示每个结点的单个误差，则误差的梯度为： 因此，根据（2）式可知这种算法基本上是控制在时间或空间上反向传递误差的。从（2）式可以看出相对于而言它是一个线性，但时变的发展方程。从而可以定义该方程的解的伴随矩阵。这个网络是基于原始神经网络的结构的偏置设计的，它是一个动态网络，可以及时地反向传递收到期望输出与实际输出间的误差，也能及时地该误差，并将其作为输入。注意到伴随矩阵方法在经典优化与灵敏度分析领域是一个较好的可发展的概念。Almeida[10]就曾将伴随矩阵方法用于解决递归神经网络训练的问题上，他同时也提出BP算法[8][9]实际也是伴随矩阵方法中的一种形式。因此，可以通过伴随矩阵法获得时空网络，其算法如下所示（根据（2）式）： 1）将网络中的所有矢量转置 2）在伴随矩阵网络的输出结点处置所有输入为 3）用时延算子代替所有超前算子z 4）用代替 图1b）显示了伴随矩阵网络的构成，而图1a）则为时空网络的结构。 3. 系统辨识例子 双输入双输出非线