遗传算法与递归神经网络在非线性系统辨识中的应用-智能与网络化系统.docVIP

遗传算法与递归神经网络在非线性系统辨识中的应用 摘要：本文提出了一种遗传算法与递归神经网络的非线性系统辨识算法。该算法中的递归神经网络使用的是连续型Hopfield神经网络结构，在文章中首先对该种神经网络的收敛性能进行了分析，然后将其应用于对非线性系统的辨识。同时，应用遗传算法来获得网络的参数，并给出了遗传算法的简要步骤。最后进行了仿真，仿真结果表明这种算法能成功地应用在非线性系统的辨识中。 1 引言 神经网络是一个各元素交互关联的系统，是人脑神经系统的模拟。神经网络的各个神经单元都是在同一时刻对数据信息进行处理，而不是传统一步一步地计算方法。近年来，在人工神经网络领域有两种网络越来越受到人们的重视，即多层神经网络和递归神经网络。文献[1-4]证明了多层神经网络在模式识别中得到了非常大的成功，而递归神经网络也应用于联合记忆的优化问题[5-8]。从一个理论角度来看，多层神经网络用于映射静态非线性系统的特性，而递归神经网络用于再现动态非线性反馈系统。 在本文中，我们的重点是用递归神经网络对非线性动态对象进行系统辨识。Hopfield和Tank介绍了一种应用于各种优化问题的神经网络[6-7]。本文的目标主要是对Hopfield神经网络进行改进，并将其应用于非线性系统辨识。许多关于用离散时间模型来辨识未知系统方面的研究表明用阶跃指数函数作为激活函数容易陷入局部极小值[9-12]。为了加快网络的学习速度，Hopfield提出了一种模拟神经网络，用该网络的联系单元来分级响应。因此，我们选取连续型Hopfield神经网络来解决系统辨识问题。 在训练连续型Hopfield神经网络时，首先要确定一些初始的设置。在系统辨识模型时，遗传算法（GA）是最先用于优化递归神经网络的网络参数的。GA是并行、全局算法，是模拟生物进化和遗传。通常用于对参数的搜索，即通过对参数编码集的操作来搜索最优解。在文献[14]中对GA算法的复杂性进行了讨论。由于GA具有高效的全局优化能力，所以它在很多领域都备受关注。在控制领域也获得了很多成功的应用[15-18]。在本文中，用GA算法来设置递归网络的初始参数值。通过适当操作，系统的误差达到最小，从而达到辨识系统的目的。 连续Hopfield神经网络的模型和网络的收敛性将会在第2节进行介绍。系统辨识的参数是神经网络的神经元状态值。在第3节中将讨论GA算法在搜索递归神经网络用于系统辨识的模型参数。第4节将给出系统的表示和学习过程，并且在第5节给出了一个非线性系统辨识的例子。最后一节进行总结。 2. 网络结构和收敛性 Hopfield网络是由一层相互作用的处理单元即神经元组成的，与多层网络不同的是，递归网络的神经元是一种扩展的反馈[5-6]。这种网络中每个神经元的状态方程是用微分（连续型）或差分方程（离散型）方程来表示的。在本文，我们只考虑连续型模型。带有反馈层的网络结构主要用于系统辨识、控制和滤波。从计算的角度来看，含有反馈状态的递归神经网络与单纯的前馈网络相比其计算量会更大。 由Hopfield提出的一种递归神经网络是只含N个神经元单层网络，如图1所示。该种网络结构可以表示一组时间连续的动态系统，其工作方式为： 其中vi是第i个神经元的状态，yi是第i个神经元的输出， 是从第j个神经元到第i个神经元的连接权值，Ii是第i个神经元的输入的偏置，f（）是一个Sigmoid函数，N是所需神经元的个数。 在文献[9]中用简化的能量函数对该种网络的稳定性进行了研究， 对上式的两边求导，则得到 应用求导定理，有 将方程（5）代入（4）中，得到 由于yi是关于vi的Sigmoid函数，则可知道 总是大于0，因此，其能量梯度为非正。这就说明动态系统服从能量最小。 该系统的的学习过程是由下式决定， 其中f是一个非系统函数 ， 是学习速率，s是限制值，使 ， 是时间间隔。 误差代价函数为定义： 其中T是时间段，e是误差矢量，为系统的实际状态 和估计值 之差。我们的目标是使被辨识的求知对象参数的代价函数最小，将对象分成三部分，线性状态，非线性状态和控制信号，则有， 其中A、B、C为未知矩阵，x是对象的线性状态矢量，xnl是对象的非线性状态矢量，u是控制矢量。则未知系统的状态方程定义如下： 现在，我们需要使 最小，即使 最小，因此误差代价函数的形式为： 根据Hopfield网络的收敛特性可知，当偏微分式 为0时，可以得到系统的稳定状态。用 代入方程中的x ，假设 是待估参数的最优解，则有 由于 ，则有： 因为 明显不为0，则x(t) 和u(t) 在[0,T]内线性独立，且xnl(t) 和u(t) 在[0,T]内也线性独立。基于上述条件，则可得到网络的收敛特性。从而可辨识到非线性系统的状态矩阵A，B，C。 3. 应