反馈神经网络演示文件修改版.pptVIP

第三讲 反馈神经网络 本章知识结构 概述 离散Hopfield网络 连续Hopfield网络 连续Hopfield网络的应用——优化计算 * * 3.3 连续Hopfield网络 连续Hopfield网络(简称CHNN)的拓朴结构和DHNN的结构相似. 这种拓朴结构和生物的神经系统中大量存在的神经反馈回路是相一致的. 在CHNN中,和DHNN一样,其稳定条件也要求Wij=Wji. CHNN和DHNN不同的地方在于其函数g不是阶跃函数,而是S形的连续函数.一般取 g(u)=1/(1+e-u)? ?????? (4) 3.3 连续Hopfield网络 下面将简单介绍CHNN,主要内容: 工作原理、 稳定性、 在组合优化中的应用. 3.3.1 CHNN的工作原理 CHNN在时间上是连续的.所以,网络中各神经元是处于同步方式工作的. 考虑对于一个神经细胞,即神经元i,其 内部膜电位状态用uj表示, 生物神经元的动态(微分系统)由运算放大器来模拟,其中微分电路中 细胞膜输入电容为Ci, 细胞膜的传递电阻为Ri, 输出电压为Vi, 外部输入电流用Ii表示, 3.3.1 CHNN的工作原理 神经元的状态满足如下动力学方程. 则CHNN可用图6所示的电路来模拟实现. 3.3.1 CHNN的工作原理 图6 CHNN的电路形式 3.3.1 CHNN的工作原理 电路中 微分系统的暂态过程的时间常数通过电容Ci,和电阻Ri并联实现, 跨导Tij模拟神经元之间互连的突触特性 运算放大器模拟神经元的非线性特性 Hopfield用模拟电路设计了一个CHNN的电路模 型，如下图所示： 3.3.1 CHNN的工作原理 取参数 3.3.1 CHNN的工作原理 得： 过程：先设定初态（ ），运行至稳定，得到稳定状态。 对应输出： 3.3.1 CHNN的工作原理 在Hopfield网络中,由于反馈的存在,其加权输入和ui,i=1~n为网络状态,网络的输出为y1~yn, 则u,y的变化过程为一个非线性动力学系统. 对连续的非线性动力学系统,可用非线性微分方程来描述. 连续非线性动力学系统,一般存在多个平衡态. 3.3.2 CHNN的稳定性 其中g-1(v)是Vi(t)＝gi(Ui(t))的反函数. 如果CHNN中神经元激发函数是单调增长的连续并有界函数,并且Wij=Wji,则有 dE(t)/dt?0 当且仅当dVi(t)/dt=0时,有 dE(t)/dt=0 3.3.2 CHNN的稳定性 因此,对于CHNN,分析其稳定性及平衡态问题是非常重要的. Hopfield给出如下稳定性定理: 定理 给出能量函数E(t) 这个定理的意义可以解释如下: 当网络神经元的激发函数是S函数,并且网络权系数矩阵对称,则随时间的变化网络的能量会下降或不变. 而且仅当输出电位随时间变化不变时,网络的能量才会不变. 换而言之,在上述条件下的网络是能量不变或下降的. 这个定理的证明过程如下: 3.3.2 CHNN的稳定性 证明 对能量函数E(t)求时间的导数dE(t)/dt,则有 3.3.2 CHNN的稳定性 如果存在Wij=Wji,则上式可写为 3.3.2 CHNN的稳定性 从CHNN的动态方程,有 故式(8)式可写成 考虑到Vi(t)＝gi(Ui(t)),有 3.3.2 CHNN的稳定性 由于神经元的激励函数gi(Ui(t))为单调增函数,因此 dUi(t)/dVi(t)?0 故,有 dE(t)/dt?0 当并且仅当dVi(t)/dt=0时,有 dE(t)/dt=0 这个定理说明HNN的能量函数E(t)是单调下降的,如果E(t)有下界,即有确定的极小值,那么网络必定是稳定的. 而且,可以知道稳定点对应于能量函数的下界,即极小值. 下一步工作,只需证明能量函数有下界,那么.就可以证明网络是稳定的. 可以证明,如果CHNN的激发函数g是连续而且有界的,那么,能量函数E(t)是有界的. 因此,该CHNN网络必定是稳定的. 3.3.2 CHNN的稳定性 最后,关于CHNN的稳定性(收敛性)、平衡点、联想记忆特性与优化问题的应用有如下结论: 具有良好的收敛性.当HNN的神经元激发函数g是连续且有界的,例如S函数,且网络的权系数矩阵对称,则这个CHNN是稳定的. 对稳定的CHNN, 具有有限个平衡点; 如果平衡点是稳定的,那么它也一定是渐进稳定的; 渐进稳定平衡点为其能量函数的局部极小点; 网络以大规模、非线性、连续时间并行方式处理信息,其计算时间就是网络趋于平衡点的时间. 3.3.2 CHNN的稳定性 对CHNN的信息存储与联想记忆特性 能将任意一组希望存储的矢量综合为网络的渐进平衡点; 网络的存储信息表现为神经元之