第7-1Hopfield网络的训练及其应用.pptVIP

Hopfield网络的训练及其应用 山东轻工业学院 数理学院 李彬 Introduction 1 离散Hopfield 神经网络 网络模型表示法 1 离散Hopfield 神经网络 1 离散Hopfield 神经网络 串行(异步)工作方式运行步骤 Step1 对网络进行初始化； Step2 从网络中随机选取一个神经元； Step3 求出该神经元i的输入； Step4 求出该神经元经激活函数处理后的输出，此时网 络中的其他神经元的输出保持不变； Step5 判断网络是否达到稳定状态，若达到稳定状态或 满足给定条件则结束；否则转到第二步继续运行. 2. TSP问题描述 3.Hopfield模型与组合优化求解 在组合优化问题中，让神经元的某状态表示某命题的真假，而神经元之间的连接则表示两命题的关联程度，正为相互支持，负为相互否定. 当两命题关联程度为wij时，有花费（cost）wijxixj，则可以用能量函数代表其总花费. 3.Hopfield模型与组合优化求解 能量函数要根据不同的问题进行不同的构造，只要定义好适当的能量函数，就能通过类比的方法设置神经网络的连接权值，然后用上述迭代方法得到组合优化问题的近似解. 因此，网络收敛于稳定点过程表示在众多约束之下不断调整网络状态，直到使总花费值达到某个局部极小值或全局极小值的近似. 4. 能量函数 能量函数展现的是神经网络系统集团计算能力而不是单个神经元的计算能力.能量的概念也可以推广到其它类型的神经网络模型中。在能量概念的基础上，神经计算可以描述为在能量曲面上的一条轨迹. 4. 能量函数 5 Hopfield 神经网络的MATLAB实现 6 Hopfield 网解决TSP问题 1985年，J. J. Hopfield和D. W. Tank用循环网求解TSP.试验表明，当城市的个数不超过30时，可以给出最优解的近似解.而当城市的个数超过30时，最终的结果就不太理想了. n个城市间存在n!/(2n)条可能路径. 6 Hopfield 网解决TSP问题 6 Hopfield网解决TSP问题 设问题中含有n个城市,用n*n个神经元构成网络 . dxy —— 城市X与城市Y之间的距离； yx i—— 城市X的第i个神经元的状态： 1 城市X在第i个被访问 yxi= 0 城市X不在第i个被访问 wxi,yj——城市X的第i个神经元到城市Y的第j个神经元的连接权. 6 Hopfield网用于解决TSP问题 例如：四个城市X、Y、Z、W 6 Hopfield网用于解决TSP问题 联接矩阵 wxi,yj= -Aδxy(1-δij) –Bδij(1-δxy) –C –ζdxy(δji+1+δji-1) 1 如果 i=j δij= 0 如果 i≠j 网络的能量函数 网络的能量函数 仅当所有的城市最多只被访问一次时取得极小值0. 当一个城市被重复访问一次，能量增加一次. 网络的能量函数 仅当每次最多只访问一个城市时取得极小值0. 当多个城市被同时访问时，增加惩罚. 网络的能量函数 当且仅当所有的n个城市一共被访问n次时才取得最小值0. 网络的能量函数 表示按照当前的访问路线的安排，所需要走的路径的总长度 . * 　 利用神经网络解决组合优化问题是神经网络应用的一个重要方面. 将Hopfield 网络应用于求解组合优化问题,把目标函数转化为网络的能量函数,把问题的变量对应到网络的状态,这样,当网络的能量函数收敛于极小值时,问题的最优解也随之求出. 由于神经网络是并行计算的,其计算量不随维数的增加而发生指数性“爆炸”,因而对于优化问题的高速计算特别有效. 图1 最基本的Hopfield网( n = m = h) o1 on o2 x2 x1 xn W … … 联接：神经元之间都是互联的wij，每个神经元都没有到自身的联接wii=0. 神经元个数h，输入向量维数n，输出向量维数m. h≥n，h≥m，n≥1，m≥1. 神经元：输入、输出、隐藏. 状态变化：非同步、同步. 输入向量：X=(x1，x2，…，xn). 输出向量：O=(o1，o2，…，om). TSP 问题,即所谓的旅行商问题( Traveling Salesman Problem) . 问题的提法是: 在N