RNN神经元原理.pdfVIP

RNN 神经元原理表述： ①输入 u (t),...,u (t)和y (t),...,y (t) 1 q 1 l ②网络权值和阈值 wi ,1,..., wi ,q 和mi ,1,..., mi ,l ③求和单元 x (t 1)  m y (t)  w u (t)  i  il l  iq q i l q ④传递函数 f () ⑤输出 y i ( t  1)  f ( x i ( t  1)) RNN原理概述： 递归神经网络（Recurrent Neural Networks ，RNNs ）是一种具有 反馈结构的神经网络，其输出不但与当前输入和网络的权值有关，而 且与之前网络的输入有关，侧重其学习或训练的问题。其结构形式主 Fully Recurrent NNs 要分为全局递归神经网络 （ 、局部递归神经网络 Lo cally Recurrent NNs （ 离散 全局递归神经网络：Hopfiled 网络 连续 外部时延网络：Jordan 网络 局部递归神经网络 Elman 内部时延网络： 网络 RNN 模型组成： 在 RNN 中，多个神经元互连以组成一个互连神经网络，如下图 所示。神经元的输出被反馈至同层或前层神经元。Elman 网络和 Hopfield 神经网络是反馈网络中最有代表性的例子。 (1)全局递归神经网络（FRRN Hopfield 神经网络状态的演变过程是一个非线性动力学系统， 可以用一组非线性差分方程 （对于离散型 Hopfield 神经网络 或微分 方程 （对于连续型 Hopfield 神经网络 来描述。系统的稳定性可用所 谓的 “能量函数”（即李雅普诺夫或哈密顿函数）进行分析。在满足 一定条件下，某种“能量函数”的能量在网络运行过程中不断地减小， 最后趋于稳定的平衡状态。 ①离散的 Hopfiled 网络 其网络结构与工作方式 x x … x … x 1 2 i n T T … T … T 1 2 i n (1)网络的状态 DHNN 网中的每个神经元都有相同的功能，其输出称为状态，用 xj 表示。 所有神经元状态的集合就构成反馈网络的状态 X=[x1,x2,…,xn]T 反馈网络的输入就是网络的状态初始值，表示为 X(0)=[x1(0), x2(0),…, xn(0)]T 反馈网络在外界输入激发下，从初始状态进入动态演变过程，变 化规律为：