课件：D人工神经网络复习习题.ppt

6.1 离散型Hopfield神经网络(DHNN) 6.1.2 网络的稳定性与吸引子 　　利用Hopfield网的稳态可实现联想记忆功能。 　　在拓扑结构及权矩阵均一定的情况下， Hopfield网能存储若干个预先设置的稳定状态；而网络运行后达到哪个稳定状态将与其初始状态有关。若用网络的稳态代表一种记忆模式，初始状态朝着稳态收敛的过程便是网络寻找记忆模式的过程。初态可视为记忆模式的部分信息，网络演变的过程可视为从部分信息回忆起全部信息的过程，从而实现了联想记忆功能。 　　网络的稳定性与将要介绍的能量函数密切相关，利用网络的能量函数可实现优化求解功能。 　　网络的能量函数在网络状态变化时，能自动趋向能量的极小点。如果把一个待求解问题的目标函数以网络能量函数的形式表达出来，当能量函数趋于最小时，对应的网络状态就是问题的最优解。网络的初态可视为问题的初始解，网络从初态向稳态的收敛过程便是优化计算的过程，这种寻优搜索是在网络演变过程中自动完成的。 6.1.2.1 网络的稳定性 6.1 离散型Hopfield神经网络(DHNN) 6.1.2 网络的稳定性与吸引子 　　网络达到稳定时的状态X，称为网络的吸引子。 　　如果把吸引子视为问题的解，那么从初始状态朝吸引子演变的过程便是求解计算的过程。 　　若把需记忆的样本信息存储于网络不同的吸引子，当输入含有部分记忆信息的样本时，网络的演变过程便是从部分信息寻找全部信息，即联想回忆的过程。 6.1.2.2 吸引子与能量函数 定义6.1 若网络的状态X满足X = f(WX-T)，则称X为网络的吸引子。 定理6.1 对于DHNN网，若按异步方式调整网络状态，且连接权矩阵W 为对称阵，则对于任意初态，网络都最终收敛到一个吸引子。 6.1 离散型Hopfield神经网络(DHNN) 6.1.2 网络的稳定性与吸引子 　　定理6.1证明： 6.1.2.2 吸引子与能量函数 定义网络的能量函数为 (6.5) 令网络的能量改变量为ΔE，状态改变量为ΔX，有 (6.6) (6.7) 定理6.1 对于DHNN网，若按异步方式调整网络状态，且连接权矩阵W 为对称阵，则对于任意初态，网络都最终收敛到一个吸引子。 6.1 离散型Hopfield神经网络(DHNN) 6.1.2 网络的稳定性与吸引子 　　定理6.1证明： 6.1.2.2 吸引子与能量函数 定义网络的能量函数为 将式(6.6)、(6.7)代入(6.5)，则网络能量可进一步展开为 (6.5) 令网络的能量改变量为ΔE，状态改变量为ΔX，有 (6.6) (6.7) 6.1 离散型Hopfield神经网络(DHNN) 6.1.2 网络的稳定性与吸引子 6.1.2.2 吸引子与能量函数 　　由于定理6.1规定，按异步工作方式，第t个时刻只有1个神经元调整状态，设该神经元为j，将△X(t)=[0,…,0,△xj(t),0,…, 0]T代入上式，并考虑到W为对称矩阵，有 　　设各神经元不存在自反馈，所以有wjj=0，并引入式(6.3)，上式可简化为 (6.8) 6.1 离散型Hopfield神经网络(DHNN) 6.1.2 网络的稳定性与吸引子 6.1.2.2 吸引子与能量函数 考虑上式中可能出现的所有情况。 　　情况a：xj(t)=-1, xj(t+1)=1, 由式(6.7)得Δxj(t)=2, 由式(6.1)知，netj(t)≧0，代入式(6.9)，得ΔE(t)≦0。 　　情况b：xj(t)=1, xj(t+1)=-1, 所以Δxj(t)=-2, 由式(6.1)知，netj(t)0，代入式(6.9)，得ΔE(t)0。 　　情况c：xj(t)=xj(t+1), 所以Δxj(t)=0, 代入式(6.9)，从而有ΔE(t)=0。 由此可知在任何情况下均有ΔE(t)≦0 。 (6.9) 6.1 离散型Hopfield神经网络(DHNN) 6.1.2 网络的稳定性与吸引子 　　以上三种情况包括了式(6.9)可能出现的所有情况，由此可知在任何情况下均有E(t)≤0，也就是说，在网络动态演变过程中，能量总是在不断下降或保持不变。由于网络中各节点的状态只能取1或-1，能量函数E(t)作为网络状态的函数是有下界的，因此网络能量函数最终将收敛于一个常数，此时△E(t)=0。 6.1.2.2 吸引子与能量函数 　　当E(t)收敛于常数时，是否对应于网络的稳态？当E(t)收敛于常数时，有△E(t)=0，此时对应于以下两种情况。 情况a：xj(t)=xj(t+1)=1，或xj(t)=xj(t+1)=-1，这种情况下神经元j的状态不再改变，表明网络已进入稳态，对应的网络状态就是网络的吸引子。 情况b：xj(t)=-1， ne