RNN神经元原理表述.docVIP

RNN神经元原理表述： ①输入 ②网络权值和阈值 ③求和单元 ④传递函数 ⑤输出 RNN原理概述： 递归神经网络（Recurrent Neural Networks，RNNs）是一种具有反馈结构的神经网络，其输出不但与当前输入和网络的权值有关，而且与之前网络的输入有关，侧重其学习或训练的问题。其结构形式主要分为全局递归神经网络（Fully Recurrent NNs）、局部递归神经网络（Lo cally Recurrent NNs） 离散 全局递归神经网络：Hopfiled网络 连续 外部时延网络：Jordan网络 局部递归神经网络 内部时延网络：Elman网络 RNN模型组成： 在中，多个神经元互连以组成一个互连神经网络，如图所示。 全局递归神经网络（FRRN） Hopfield神经网络状态的演变过程是一个非线性动力学系统，可以用一组非线性差分方程（对于离散型Hopfield神经网络）或微分方程（对于连续型Hopfield神经网络）来描述。系统的稳定性可用所谓的“能量函数”（即李雅普诺夫或哈密顿函数）进行分析。在满足一定条件下，某种“能量函数”的能量在网络运行过程中不断地减小，最后趋于稳定的平衡状态。 ①离散的Hopfiled网络 其网络结构与工作方式 (1)网络的状态 DHNN网中的每个神经元都有相同的功能，其输出称为状态，用xj表示。 所有神经元状态的集合就构成反馈网络的状态 X=[x1,x2,…,xn]T 反馈网络的输入就是网络的状态初始值，表示为 X(0)=[x1(0), x2(0),…, xn(0)]T 反馈网络在外界输入激发下，从初始状态进入动态演变过程，变化规律为： DHNN网的转移函数常采用符号函数 式中净输入为 对于DHNN网，一般有wii=0 ，wij=wji。 反馈网络稳定时每个神经元的状态都不再改变，此时的稳定状态就是网络的输出，表示为 ： (2)网络的异步工作方式 网络运行时每次只有一个神经元进行状态的调整计算，其它神经元的状态均保持不变，即 （3)网络的同步工作方式 网络的同步工作方式是一种并行方式，所有神经元同时调整状态，即 图1.1 Hopfiled网络 与BP网络的简单比较如下： BP网络 Hopfield?网络 网络连接形式 不含反馈连接 包含反馈连接 输出输入关系 简单映射关系，不考虑滞后效应 要考虑输出输入间的延迟，要用差分或微分方程描述 学习算法 BP算法，收敛慢 Hebb规则，收敛快 应用（功能） 分类、联想 分类、联想、优化计算 ?稳定性理论 分析简单 分析复杂 所面临的问题： ①如何提高训练精度和速度？ ②如何处理时滞？ 定常时滞、时变时滞、分布式的时滞 现有的解决方法： 引入惩罚项、动量项到递归神经网络 j=1,2,…,n j=1,2,…,n j=1,2,…,n j=1,2,…,n