关于递归神经网络的一个结果.docVIP

精品文档（可编辑） 值得下载 关于递归神经网络的一个结果 【摘 要】本文论证了用梯度下降法训练递归神经网络过程中，有时权值会变得非常大，甚至无界. 【关键词】递归神经网络；梯度下降法；惩罚项；有界性 0 引言 人工神经网络以其自身的自组织、自适应和自学习的特点，被广泛应用于各个领域.实际中， 有时我们希望建立的对象的模型能够反映出系统的动态特性， 而传统的前馈神经网络属于静态网络，在处理动态系统的应用中存在很多问题.虽然通过引入时滞环节来描述系统的动态性是可行的， 但仍有严重不足，因为这需要大量的神经元来表示动态响应， 并且需要预先知道系统的阶次.近年来递归神经网络 （RNN） 的研究有了很大发展.与前馈网络相比， 它是动态网络， 利用网络的内部状态反馈来描述系统的非线性动力学特性，能更直接的反应系统的动态特性.1987年， Pineda首先提出了递归神经网络的BP算法[1]；接着， 1989年， Willams 和 Zipser提出了基于梯度下降法的实时递归学习算法（RTRL）[2].但是， 与传统的BP网络一样， 在训练中， RTRL算法可能会使网络权值变得很大， 甚至无界. 本文的安排如下：下一节， 我们介绍递归神经网络的RTRL学习算法， 第三节讨论权值的无界性. 1 网络结构及权值无界性 2 权值序列的无界性 可见， 在训练时