第5章hopfield神经网络与联想记忆.pptxVIP

第5章Hopfield神经网络与联想记忆;5.0 前言;反馈神经网络是一个反馈动力学系统，具有更强的计算能力。1982年J. Hopfield提出的单层全互连含有对称突触连接的反馈网络是最典型的反馈网络模型。Hopfield 用能量函数的思想形成了一种新的计算方法，阐明了神经网络与动力学的关系，并用非线性动力学的方法来研究这种神经网络的特性，建立了神经网络稳定性判据，并指出信息存储在网络中神经元之间的连接上，形成了所谓的离散Hopfield网络。 ;1984年，Hopfield设计与研制了Hopfield网络模型的电路，指出神经元???以用运算放大器来实现，所有神经元的连接可用电子线路来模拟，称之为连续Hopfield网络。 连续Hopfield网络成功的解决了旅行商（Traveling Salesman Problem，TSP）计算难题（优化问题）。 Hopfield网络是神经网络发展历史上的一个重要的里程碑。 ;5.1 神经动力学 ;神经动力学; 函数是包含自变量的非线性函数。为了表述方便可将这些状态变量表示为 一个N×1维的向量，称为系统的状态向量. 可用向量形式表示系统的状态方程： 如果满足： 则称矢量 为系统的稳态或平衡态。 ; N维向量所处的空间称为状态空间， 状态空间通常指的是欧氏空间，当然也可以是其子空间，或是类似圆、球、圆环和其他可微形式的非欧氏空间。 如果一个非线性动力系统的向量函数 F(V(t)) 隐含地依赖于时间t，则此系统称为自治系统，否则不是自治的。 ;稳定性和收敛性的定义:;定义;稳定性和渐进稳定性定理 ;这些定理要求Lyapunov函数E(V)是有界正函数，这样的函数定义如下：函数E(V)在状态空间 中是有界正函数，则对所有的 满足下列条件： （1）函数E(V)关于状态向量V中的每个元素是 连续偏导的； （2） （3） if 。 ;若E(V)是Lyapunov函数，(定理1)如果 则平衡态 是稳定的. (定理2)如果 则平衡态 是渐进稳定的。 ;5.2 离散Hopfield神经网络;5.2.1 离散Hopfield网络模型;图5.1 Hopfield神经网络结构;神经元可取二值{0/1}或{-1/1}，其中的任意神经元i与j间的突触权值为Wij，神经元之间联接是对称的，即Wij= Wji，神经元自身无联接,即Wii=0。虽然神经元自身无联接，但每个神经元都同其它的神经元相连，即每个神经元都将其输出通过突触权值传递给其它的神经元，同时每个神经元又都接收其它神经元传来的信息，这样对于每个神经元来说，其输出信号经过其它神经元后又有可能反馈给自己，所以Hopfield网络是一种反馈神经网络。;Hopfield网络中有个n神经元，其中任意神经元i的输入用ui表示，输出用vi表示，它们都是时间的函数，其中vi(t)也称为神经元 i 在 t 时刻的状态。 相应神经元i的输出或状态为： ;其中的激励函数f (·)可取阶跃函数u(t)或符号函数Sgn(t)。如取符号函数，则Hopfield网络的神经元的输出vi(t+1)取离散值1或-1，即： ;5.2.2 离散Hopfield网络运行规则;下面以串行（异步）工作方式说明Hopfied网络的运行步骤： 第一步：对网络进行初始化； 第二步：从网络中随机选取一个神经元i； 第三步：求出该神经元i的输入;第四步：求出该神经元i的输出，此时网络中的其它神经元的输出保持不变； 第五步：判断网络是否达到稳定状态，若达到稳定状态或满足给定条件，则结束；否则转到第二步继续运行。 这里网络的稳定状态定义为：若网络从某一时刻以后，状态不再发生变化，则称网络处于稳定状态。 ;Hopfield网络存在稳定状态，则要求Hopfield网络模型满足如下条件： 网络为对称连接，即wij= wji； 神经元自身无联接即wii=0。 在满足以上参数条件下，Hopfield网络“能量函数” （Lyapunov函数）的“能量”在网络运行过程中应不断地降低，最后达到稳定的平衡状