hopfield神经网络及其应用教学.pptxVIP

会计学1hopfield神经网络及其应用教学 2一、反馈网络二、Hopfield网络简介三、DHNN网络四、 TSP问题求解五、内容小结内容安排第1页/共64页 31.1 反馈网络简介1.2 网络稳定性一、反馈网络第2页/共64页 41.1 反馈网络简介反馈网络(Recurrent Network)，又称自联想记忆网络其目的是为了设计一个网络，储存一组平衡点，使得当给网络一组初始值时，网络通过自行运行而最终收敛到这个设计的平衡点上。 反馈网络能表现出非线性动力学系统动态特性网络系统具有若干个稳定状态。当网络从某一初始状态开始运动，网络系统总可以收敛到某一个稳定的平衡状态；系统稳定的平衡状态可以通过设计网络的权值而被存储到网络中第3页/共64页 5前馈型与反馈型神经网络的比较 (1) 前馈型神经网络只表达输入输出之间的映射关系，实现非线性映射；反馈型神经网络考虑输入输出之间在时间上的延迟，需要用动态方程来描述，反馈型神经网络是一个非线性动力学系统。 (2) 前馈型神经网络学习训练的目的是快速收敛，一般用误差函数来判定其收敛程度；反馈型神经网络的学习目的是快速寻找到稳定点，一般用能量函数来判别是否趋于稳定点。 (3) 两者都有局部极小问题。 第4页/共64页 61.1 反馈网络简介反馈网络分类如果激活函数f(·)是一个二值型的函数，即ai＝sgn(ni)，i＝l, 2, … r，则称此网络为离散型反馈网络；如果f(·)为一个连续单调上升的有界函数，这类网络被称为连续型反馈网络第5页/共64页 7该网络为单层全反馈网络，其中的每个神经元的输出都是与其他神经元的输入相连的。所以其输入数目与输出层神经元的数目是相等的，有r＝s。 第6页/共64页 8第7页/共64页 9第8页/共64页 101.2 网络稳定性状态轨迹对于一个由r个神经元组成的反馈网络，在某一时刻t，分别用N(t)和A(t)来表示加权和矢量和输出矢量。在下一时刻t+1，可得到N(t+1)，而N(t+1)又引起A(t+1)的变化，这种反馈演化的过程，使网络状态随时间发生变化。在一个r维状态空间上，可以用一条轨迹来描述状态变化情况。从初始值A(t0)出发，A(t0+Δt)→A(t0+2Δt)→…→A(t0+mΔt)，这些在空间上的点组成的确定轨迹，是演化过程中所有可能状态的集合，我们称这个状态空间为相空间第9页/共64页 111.2 网络稳定性状态轨迹离散与连续轨迹在一个r维状态空间上，可以用一条轨迹来描述状态变化情况. 第10页/共64页 121.2 网络稳定性状态轨迹分类：对于不同的连接权值wij和输入Pj(i, j=1, 2, … r)，反馈网络可能出现不同性质的状态轨迹轨迹为稳定点轨迹为极限环轨迹为混沌现象轨迹发散第11页/共64页 131.2 网络稳定性稳定轨迹反馈网络从任一初始态P(0)开始运动，若存在某一有限时刻t，从t以后的网络状态不再发生变化（P(t+Δt)= P(t)，Δt＞0）则称网络是稳定的 处于稳定时的网络状态叫做稳定状态，又称为定吸引子第12页/共64页 141.2 网络稳定性稳定点分类在一个反馈网络中，存在很多稳定点稳定点收敛域渐近稳定点：在稳定点Ae周围的A(σ)区域内，从任一个初始状态A(t0)出发，当t→∞时都收敛于Ae，则称Ae为渐近稳定点不稳定平衡点Aen：在某些特定的轨迹演化过程中，网络能够到达稳定点Aen，但对其它方向上任意小的区域A(σ)，不管A(σ)取多么小，其轨迹在时间t以后总是偏离Aen； 期望解网络的解：如果网络最后稳定到设计人员期望的稳定点，且该稳定点又是渐近稳定点，那么这个点称为网络的解； 网络的伪稳定点：网络最终稳定到一个渐近稳定点上，但这个稳定点不是网络设计所要求的解第13页/共64页 151.2 网络稳定性状态轨迹为极限环在某些参数的情况下，状态A(t)的轨迹是一个圆，或一个环状态A(t)沿着环重复旋转，永不停止，此时的输出A(t)也出现周期变化（即出现振荡）如果在r种状态下循环变化，称其极限环为r对于离散反馈网络，轨迹变化可能在两种状态下来回跳动，其极限环为2第14页/共64页 161.2 网络稳定性状态轨迹为混沌如果状态A(t)的轨迹在某个确定的范围内运动，但既不重复，又不能停下来状态变化为无穷多个，而轨迹也不能发散到无穷远，这种现象称为混沌(chaos)出现混沌的情况下，系统输出变化为无穷多个，并且随时间推移不能趋向稳定，但又不发散第15页/共64页 171.2 网络稳定性状态轨迹发散状态A(t)的轨迹随时间一直延伸到无穷远。此时状态发散，系统的输出也发散一般非线性人工神经网络中发散现象是不会发生的.第16页/共64页 18网络稳定性目前的反馈神经网络是利用稳定的特定轨迹