人工神经网络理论及应用课件第6章反馈神经网络.pptxVIP

第6章 反馈神经网络;第6章 反馈神经网络; Hopfield网络分为离散型和连续型两种网络模型，分别记作DHNN (Discrete Hopfield Neural Network) 和CHNN (Continues Hopfield Neural Network)，本章重点讨论前一种类型。 ;6.1.1 网络的结构与工作方式 ;(1)网络的状态 DHNN网中的每个神经元都有相同的功能，其输出称为状态，用 xj 表示。;;(2)网络的异步工作方式 ;;若网络是不稳定的，由于DHNN网每个节点的状态只有1和-1两种情况，网络不可能出现无限发散的情况，而只可能出现限幅的自持振荡，这种网络称为有限环网络。 ;网络达到稳定时的状态X，称为网络的 吸引子。 ;定理6.1 对于DHNN 网，若按异步方式调整网络状态，且连接权矩阵W 为对称阵，则对于任意初态，网络都最终收敛到一个吸引子。 ;将式(6.4)、(6.6)代入(6.5)，则网络能量可进一步展开为 ;(6.9) ; 由于网络中各节点的状态只能取1 或 –1 ，能量函数E(t) 作为网络状态的函数是有下界的，因此网络能量函数最终将收敛于一个常数，此时ΔE(t)=0 。综上所述，当网络工作方式和权矩阵均满足定理6.1的条件时，网络最终将收敛到一个吸引子。 ;证明：由式(6.8)得 ;;性质1 ：若X 是网络的一个吸引子，且阈值T=0，在sgn(0)处，xj(t+1)=xj(t)，则 －X 也一定是该网络的吸引子。 ;性质2：若Xa是网络的一个吸引子，则与Xa的海明距离dH(Xa，Xb)=1的Xb一定不是吸引子。 ; 能使网络稳定在同一吸引子的所有初态的集合，称为该吸引子的吸引域。;例6.1 设有3节点DHNN网，用无向图表示如下，权值与阈值均已标在图中，试计算网络演变过程的状态。 ;解：设各节点状态取值为1 或0 ，3 节点DHNN 网络应有23=8种状态。不妨将X=(x1,x2,x3 )T=(0,0,0)T 作为网络初态，按1→2→3的次序更新状态。 ;第2步：此时网络状态为(1,0,0)T，更新x2后，得 x2=sgn[(-0.5)?1+0.6?0－0]=sgn(-0.5)=0 其它节点状态不变，网络状态仍为(1,0,0)T。如果本步先更新 x1 或 x3，网络相应状态将为(1,0,0)T和(1,0,1)T，因此本状态保持不变的概率为2/3，而变为(1,0,1)T 的概率为1/3。 ;;为了使所设计的权值满足要求，权值矩阵应符合以下要求：;若取wjj=0，上式应写为 ;;6.1.4 网络的信息存储容量;可以看出，W阵对要记忆的模式Xp，p=1,2,…,P，是累加实现的。 每记忆一个新模式Xp，就要向原权值矩阵Wp-1加入一项该模式的外积XpXp，从而使新的权值矩阵Wp从原来的基础上发生移动。如果在加入新模式Xp之前存储的模式都是吸引子，应有Xk=f(Wp-1Xk)，k=1,2,…,p-1，那么在加入模式Xp之后由于权值移动为Wp，式Xk=f(WpXk)就不一定对所有k(=1,2,…,p-1）均同时成立，也就是说网络在记忆新样本的同时可能会遗忘已记忆的样本。 随着记忆模式数的增加，权值不断移动，各记忆模式相互交叉，当模式数超过网络容量Pmax时，网络不但逐渐遗忘了以前记忆的模式，而且也无法记住新模式。;事实上，当网络规模n一定时，要记忆的模式数越多，联想时出错的可能性越大；反之，要求的出错概率越低，网络的信息存储容量上限越小。研究表明存储模式数P超过0.15n时，联想时就有可能出错。错误结果对应的是能量的某个局部极小点，或称为伪吸引子。 提高网络存储容量有两个基本途径：一是改进网络的拓扑结构，二是改进网路的权值设计方法。常用的改进方法有：反复学习法、纠错学习法、移动兴奋门限法、伪逆技术、忘记规则和非线性学习规则等。;6.2连续型Hopfield神经网络;6.2连续型Hopfield神经网络;6.2连续型Hopfield神经网络;6.2连续型Hopfield神经网络;;6.3 Hopfield网络应用与设计实例;6.3.2应用CHNN网解决优化计算问题;6.3.2应用CHNN网解决优化计算问题;;6.4双向联想记忆(BAM)神经网络;6.4双向联想记忆(BAM)神经网络;6.4.1 BAM网结构与原理;BAM网的拓扑结构如图6.7所示。 该网是一种双层双向网络，当向其中一层加入输入信号时，另一层可得到输出。 ;6.4.1 BAM网结构与原理;6.4.1 BAM网结构与原理;;6.4.2能量函数与稳定性;6.4.3 BAM网的权值设计;6.4.3 BAM网的权值设计;6.4.4 BAM网