人工神经元模型.ppt

回归（Recurrent）神经网络 与Hopfield神经网络非常相似。 保留了部分前向传播网络的特性又具备部分Hopfield网络的动态联想记忆能力。 Pineda在1987年首先将传统的BP学习算法引入到回归神经网络中来，并提出回归反向传播算法。 三、动态神经网络模型 离散型回归神经网络(DTRNN)的模型： 其中： N是神经网络的输出节点数， M是输入矢量X的维数 三、动态神经网络模型 DTRNN网络结构 三、动态神经网络模型 此类神经网络学习问题有两种DTRNN学习算法： 网络模型作适当的处理后利用传统的BP学习算法进行学习； 迭代法。 方法1：首先将回归神经网络按时间序列展开成一个多层的复杂前向传播网络来处理 可构造出由n个回归网络结构复制串联而成的n层前向传播网络 三、动态神经网络模型 方法2：通过迭代算法实现递归计算: 仍然采用梯度下降法 三、动态神经网络模型 BP学习算法 给定p组样本(x1,t1;x2,t2;...;xP,tP）。 这里xi为ni维输入矢量,ti为no维期望的输出矢量，i=1,2,...,P。假设矢量y和o分别表示网络的输出层输出和隐含层输出矢量 10： 选η0,Emax作为最大容许误差，并将权系数Wl ，θl l=1，2，...，L初始化成小的随机值。 p←1, E←0 20 ： 训练开始， o(0)p