第8章神经网络－Hopfield网络.pptVIP

第8章 Hopfield反馈神经网络 霍普菲尔德网络是单层对称全反馈网络，根据其激活函数的选取不同，可分为离散型的霍普菲尔德网络(Discrete Hopfield Neural Network，简称DHNN)和连续型的霍普菲尔德网络(Continuous Hopfield Neural Network，简称CHNN)。 DHNN的激活函数为二值型的，其输入、输出为{0，1}的反馈网络，主要用于联想记忆。 CHNN的激活函数的输入与输出之间的关系为连续可微的单调上升函数，主要用于优化计算。 8.1 霍普菲尔德网络模型 在反馈网络中，如果其激活函数f(·)是一个二值型的硬函数，如图8.2所示，即ai＝sgn(ni)，i＝l, 2, … r，则称此网络为离散型反馈网络； 如果ai=f(ni)中的f(·)为一个连续单调上升的有界函数，这类网络被称为连续型反馈网络。图8.3中所示为一个具有饱和线性激活函数，它满足连续单调上升的有界函数的条件，常作为连续型的激活函数。 8.2 状态轨迹 设状态矢量N=[n1, n2, …，nr]，网络的输出矢量为A＝[a1，a2…，as]T ， 在一个r维状态空间上，可以用一条轨迹来描述状态变化情况。 从初始值N(t0)出发，N(t0+Δt)→N(t0+2Δt)→…→N(t0+mΔt)，这些在空间上的点组成的确定轨迹，是演化过程中所有可能状态的集合，我们称这个状态空间为相空间。 对于不同的连接权值wij和输入Pj(i, j=1, 2, … r)，反馈网络状态轨迹可能出现以下几种情况。 8.2.1 状态轨迹为稳定点 状态轨迹从系统在t0时状态的初值N(t0)开始，经过一定的时间t(t＞0)后，到达N(t0+t)。如果N(t0+t+Δt)=N(t0+t)，Δt＞0，则状态N(t0+t)称为网络的稳定点，或平衡点。 即反馈网络从任一初始态P(0)开始运动，若存在某一有限时刻t，从t以后的网络状态不再发生变化：P(t+Δt)= P(t)，Δt＞0，则称该网络是稳定的。 处于稳定时的网络状态叫做稳定状态，又称为定吸引子。 在一个反馈网络中，存在很多稳定点，根据不同情况，这些稳定点可以分为： 1) 渐近稳定点：如果在稳定点Ne周围的N(σ)区域内，从任一个初始状态N(t0)出发的每个运动，当t→∞时都收敛于Ne，则称Ne为渐近稳定点。 2) 不稳定平衡点Nen：在某些特定的轨迹演化过程中，网络能够到达稳定点Nen，但对于其它方向上的任意一个小的区域N(σ)，不管N(σ)取多么小，其轨迹在时间t以后总是偏离Nen； 8.2.2 状态轨迹为极限环 如果在某些参数的情况下，状态N(t)的轨迹是一个圆，或一个环，状态N(t)沿着环重复旋转，永不停止，此时的输出A(t)也出现周期变化，即出现振荡，如图8.4中C的轨迹即是极限环出现的情形。 对于DHNN，轨迹变化可能在两种状态下来回跳动，其极限环为2。如果在r种状态下循环变化，称其极限环为r。 8.2.3 混沌现象 如果状态N(t)的轨迹在某个确定的范围内运动，但既不重复，又不能停下来，状态变化为无穷多个，而轨迹也不能发散到无穷远，这种现象称为混沌(chaos)。 在出现混沌的情况下，系统输出变化为无穷多个，并且随时间推移不能趋向稳定，但又不发散。 8.2.4 状态轨迹发散 如果状态N(t)的轨迹随时间一直延伸到无穷远，此时状态发散，系统的输出也发散。 在人工神经网络中，由于输入、输出激活函数是一个有界函数，虽然状态N(t)是发散的，但其输出A(t)还是稳定的，而A（t）的稳定反过来又限制了状态的发散。 一般非线性人工神经网络中发散现象是不会发生的，除非神经元的输入输出激活函数是线性的。 目前的人工神经网络是利用第一种情况即稳定的专门轨迹来解决某些问题的。 如果把系统的稳定点视做一个记忆的话，那么从初始状态朝这个稳定点移动的过程就是寻找该记忆的过程。 状态的初始值可以认为是给定的有关该记忆的部分信息，状态N(t)移动的过程，是从部分信息去寻找全部信息，这就是联想记忆的过程。 因此反馈网络的状态移动的过程实际上是一种计算联想记忆或优化的过程。它的解并不需要真的去计算，只需要去形成一类反馈神经网络，适当地讨论其权重值wij，使其初始输入A(t0)向稳定吸引子状态的移