递归神经网络快速学习算法地研究.pdfVIP

2000中国控制与次策学术年会论文集 递9j神经网络快速学习算法的研究’ 车鸿儒 邓长辉 顾树生温馨 (柬北大学信息科学与工程学院沈阳110006)(抚麻特锕有限公司) (东北大学信息科学与工程学皖) 摘羹针对遵归神经网络BP学习算法收敛幔的块陷．遘过}i入遵推预报谩差(RPE)学习算 法，提出一种新的递归神经网络铸建学习算法．访算法的基本原理是沿着指标函数的Gauss— Newton搜索方向惨正权值．同时不必计算二阶偏导数和进行矩阵求逆运算．仿真结束表明，读 算珐比传统的遽归BP学习算法具有更快的牧敛速度． 关键词递归神经网络，遵推预报误差，学习算法，BP算法 I引 言 由于神经网络具有理论上能逼近任意非线性函数的能力，因而非常适台于非线性系统建 模。传统的前馈神经网络属于静态网络，在处理非线性动态系统的应用中存在很多闸题，虽然 通过引入时滞环节来描述系统的动态性能是可行的，但仍有严重不足，需要大量的神经元来表 示动态响应，并且需要瑗先知道系统的阶次．近年来，递归神经网络的研究有了很大发展…，与 前馈神经网络相比，它是动态网络，利用网络的内部状态反馈来描述系统的非线性动力学特 性，能更直接地反映系统的动态特性。Pineda”3首先提出了递归神经网络的BP算法，但此算法 有收敛速度慢和可能产生局部收敛的缺陷。如何寻求一种具有很强实用价值的快速递归神经 网络学习算法，已引起国内外许多专家学者的关注．本文将传统的参数估计方法--RPE法引 入递归神经网络权值的学习中来，克服了递归BP学习算法收敛速度慢的不足．构成递归神经 网络模型的方法有很多，总的思想都是通过在前馈神经网络中加入一些附加的、内部的反馈通 道来增加网络本身处理动态信息的能力。 本文针对目前应用较多的对角递归神经网络(DRNN)进行了研究，所提出的算法对其它 形式的递归神经网络可直接推出。 2 RPE算法 RPE算法为一种通过极小化预报误差来获取参数估计的方法。定义性能指标为 E(臼)：嘉∑eT(^，O)e(k，8) (1) 式中，e(k，0)为预报误差矢量，8为参数矢量，Ⅳ为数据长度。 使E(8)趋于最小。具体的RPE算法是“1 · Ⅱ宁宥自然科学基盒磺目(26237) 353 ￡(七)=，(五)一j(屉) ㈣，一丽畿‰ ㈤ P(1)=志[f+M(k)ff／r(k)]P(k一1) e(≈)一O(k一1)十a(k)P旺)雩(^)o(^) 为遗忘因子，为加快收敛速度，采用变^(1)的算法如下 ^(^)；k^(^一1)+(1一k) (3) 式中≈为常数。 3 DRNN的RPE学习算法 DRNN由输入层、隐屡和输出层组成．设在每个离散时刻^，x；(^)为网络输入，f一1，2， …，nf0(^)为网络输出，为了计算和训练方便，取一个输出，对于多输出情况可直接推得} 层至输出层的连接权，Wj为递归神经元连接权．则 Sj(^)；wfzj(^一1)+∑Ⅳ；冠(^) 扣1 ’乙(1)=烈s，(^)) (4) ． 【0=∑Br?Zj(k) 取网络的性能指标函数为(D，然后按各种学习算法对网络的权向量进行训练，求得最玩 权值Ⅳ‘，使 ￡t．-=minE (5) 对具体韵权值，抑／新7按反向传播的方法求取为