人工神经网络HOPFIELD神经网络.pptxVIP

人工神经网络HOPFIELD神经网络;2;研究背景;研究背景;研究背景;研究背景;研究背景;研究背景;Hopfield神经网络;2023/3/4;2023/3/4;2023/3/4;反馈网络的特性;反馈网络的特性;反馈网络的作用;反馈网络研究的内容;反馈网络研究的内容;2023/3/4;2023/3/4;离散Hopfield 神经网络;离散Hopfield 神经网络;离散Hopfield 神经网络;离散Hopfield 神经网络;工作方式;串行(异步)工作方式运行步骤 第一步 对网络进行初始化； 第二步 从网络中随机选取一个神经元 i ； 第三步 求出该神经元 i 的输出； 第四步 求出该神经元经激活函数处理后的输出，此时网络中的其他神经元的输出保持不变； 第五步 判断网络是否达到稳定状态，若达到稳定状态或满足给定条件则结束；否则转到第二步继续运行。 ;例：一个3个节点离散型Hopfield神经网络的初始状态X(0)=(-1, -1, -1)，网络连接权值w和各个节点的阈值θ分别如下，试求解网络稳定状态。;2023/3/4;X(0)=(x1, x2, x3) X(0)=(-1, -1, -1);X(1)=(x1, x2, x3) X(1)=(1, -1, -1);X(2)=(x1, x2, x3) X(2)=(1, 1, -1);X(3)=(x1, x2, x3) X(3)=(1, 1, -1);X(4)=(x1, x2, x3) X(4)=(1, 1, -1);X(5)=(x1, x2, x3) X(5)=(1, 1, -1);能量函数(Lyapunov function) 因Hopfield并无训练目标值，因此无法以MSE、RMSE或误判率来衡量网络误差大小 因此，以能量函数进行误差的衡量 ;能量函数(Lyapunov function) 用以判断是否会收敛 能量函数趋近于0，表示会收敛 ;简化能量函数 当各处理单元的状态变量值所构成向量与训练范例特征向量之一相似或相同时，能量函数倾向较低的值 ;离散型Hopfield网络的能量函数 网络中任意一个神经元 的能量为 ;稳定状态 若网络从某一时刻以后，状态不再发生变化，则称网络处于稳定状态 网络为对称连接，即；神经元自身无连接 能量函数在网络运行中不断降低，最后达到稳定 ;网络中神经元能量函数变化量;离散型Hopfield网络权值设计;离散型Hopfield网络权值设计;例：一个3个节点离散型Hopfield神经网络的3个学习模式为X 1=(-1, -1, -1)，X 2=(-1, -1, -1)， X 3=(-1, -1, -1)，试计算其连接矩阵并验证其联想记忆能力 。;2023/3/4;2023/3/4;定理：若DHNN网络的规模为n，且权矩阵对角元素为0，则该网络的信息容量上???为n。 定理：若m个记忆模式aj=(a1,…,an), j =1,…,m， 两两正交，nm，且权矩阵W由外积法得到，则m个模式都是网络(W,0)的吸引子。 Hopfield的统计实验结论：DHNN的记忆容量为0.13n～0.15n。;DHNN的存储容量 ;连续Hopfield 神经网络;连续Hopfield 神经网络;连续Hopfield网络模型;连续Hopfield 神经网络;连续Hopfield 网络能量函数;连续Hopfield 网络能量函数;连续Hopfield 网络能量函数;连续Hopfield 网络能量函数;连续Hopfield 网络能量函数;连续Hopfield 网络能量函数;连续Hopfield 网络能量函数;连续Hopfield 网络能量函数; E是李雅谱诺夫函数(Lyapunov)，f(x)为sigmoid函数. 我们对sigmoid函数做个小的修改，函数特性不变; 的反函数可以写作 能量函数的最后一项可以写为; 因此能量函数可以写作 ;连续Hopfield 网络能量函数;连续Hopfield 网络能量函数;连续Hopfield 网络能量函数;连续Hopfield 网络应用;Traveling Salesman Problem 不考虑方向性和周期性，在给定n的条件下，可能存在的闭合路径数目为1/2(n-1)!。随着n的增大，计算量急剧增大，会发生所谓的“组合爆炸”问题。;城市数;vxi v：状态变量 x：城市 i：拜访的顺序 ;状态要求 ;状态表现;状态函数(限制函数) (1)每个城市只能经过一次，因此不会有第 i 站等于第 j 站的情形 (2)每个城市只能经过一次，因此第 i 站的城市不可能会重复 (3)每个城市都要到过一次 (4)城市最短总距离设计 ;综合上述四式，设计以下能量函数 ;每个状态的微分方程为 输入