9 反馈型神经网络.pptVIP

9 反馈型神经网络 Recurrent Neural Network * * 反馈型神经网络是一种从输出到输入具有反馈连接的神经网络，其结构比前馈网络要复杂得多。典型的反馈型神经网络有：Elman网络和Hopfield网络。 Elman网络是两层反向传播网络，隐层和输入向量连接的神经元，其输出不仅作为输出层的输入，而且还连接隐层内的另外一些神经元，反馈至隐层的输入。由于其输入表示了信号的空域信息，而反馈支路是一个延迟单元，反映了信号的时域信息，所以Elman网络可以在时域和空域进行模式识别。 Hopfield网络又称为联想记忆网络，它常常存储了一个或多个稳定的目标向量，当网络输入端输入相似的向量时，这些稳定的目标向量将“唤醒”网络记忆的模式，通过输出呈现出来。 Elman网络的隐层（反馈层）为tansig神经元，输出层为purelin神经元，这样的传输函数在两层神经网络的特殊组合可以以任意精度逼近任意函数（在连续有限的时间内），这一点只需要隐层的神经元数目足够多即可实现，所逼近函数的复杂性越高，所需的隐层神经元数越多。 Elman神经网络 值得注意的是Elman网络不同于通常的两层网络，其第一网络层有一个反馈节点，该节点的延迟量存储了前一时刻的值，而应用于当前时刻的计算。所以，即使是具有相同权值和阈值的Elman网络，如果其反馈状态不同，那么对于同样的输入向量，其同一时刻的输出也可能不相同。 因为Elman网络能够存储供将来时刻使用的信息，所以它既可以学习时域模式，也可以学习空域模式；它既可以训练后对模式产生响应（模式的空间分类结果），也可以产生模式输出（模式的时域变化关系）。 以newelm定义的Elman网络，其反向传播训练算法的默认函数为trainbfg，还可以用trainlm，但其处理速度太快，在Elman网络中是不必要的的，效果也不一定好。默认的权值和阈值的反向传播学习函数为learngdm，默认的误差性能函数为mse。 网络建立后，每个网络层的权值和阈值都以Nguyen-Widrow网络层初始化方法进行初始化，实现函数为initnw。 Elman网络的训练可采用train或adapt两个函数中的任意一个。当采用train函数时，每一步迭代过程按以下步骤进行： （1）网络输入端输入所有的输入序列，然后计算输出结果，并与目标序列进行比较，从而产生一误差序列； （2）在每一次迭代中，误差被反向传播以确定每一个权值和阈值的误差梯度，实际上，梯度的计算是近似的，因为，经由延迟反馈支路对权值和阈值误差的贡献是忽略了的。 （3）该梯度用于用户选择的反向传播训练函数进行权值的修正。建议采用traingdx训练函数。 当采用adapt函数时，迭代过程与采用train基本一样， 只是权值的修正函数建议采用learngdm学习函数。 Elman网络没有其它网络的可靠性高，因为训练或调整都是以误差梯度的近似值进行的。 Hopfield于1984年提出了连续Hopfield模型的一般结构，如图所示。 Hopfield神经网络 连续Hopfield神经网络模型 ， ， ， ， ， 在该模型中，每个神经元由一个运算放大器和一些阻容元件构成。这些神经元有两组输入，一组以电流形式为：I1，I2，…，IS，为神经元的外部输入；另一组是一个运算放大器的反相输出端通过电阻反馈到另一个运算放大器的电流，反馈既可以来自同相输出端，也可以来自反相输出端。 据基尔霍夫电流定律，可以写出运算放大器输入端的电流方程： 式中： ni为第i个运算放大器的输入电压； ai为第i个运算放大器的输出电压； C为运算放大器的输入电容； Ii为第i个运算放大器的固定输入电流； 式中，f(n)为放大器的传输函数，通常为logsig函数。我们假设电路式对称的，则 令 以向量形式表示为： 以积分方程表示为： 上式表明，网络的初始状态取决于输入向量p。 网络的输出向量： 据n(t)的表达式，可以画出Hopfield神经网络的原型结构，如图所示。 描述Hopfield神经网络的方程是一个非线性微分方程，方程的状态随时间的变化为0的那些解称为方程的平衡点，但是这些平衡点可能是稳定的，也可能是不稳定的，或者是临界稳定的，连续Hopfield神经网络的设计，就是要找到稳定的平衡点，即系统的平衡点，如果能设计出W、b，使系统最后