第5章 CHNN.ppt

第6章 反馈神经网络 CHNN是在DHNN的基础上于1984年提出的，它的原理和DHNN相似。由于CHNN是以模拟量作为网络的输入输出量，各神经元采用并行方式工作，所以它在信息处理的并行性、联想性、实时性、分布存储、协同性等方面比DHNN更接近于生物神经网络。我们将从以下几点来讨论CHNN。 1、网络模型 2、CHNN方程的解及稳定性分析 3、关于Hopfield能量函数的几点说明 CHNN的网络模型 Hopfield动态神经元模型 CHNN的网络模型 对于神经元，放大器的I/O关系可用如下的方程来描述： 对上述方程变形得： CHNN方程的解及稳定性分析 对于CHNN来说，关心的同样是稳定性问题。状态与输出之间的关系表现为激活函数的形状，而正是激活函数代表了一个网络的特点。下面着重分析不同激活函数关系对系统的稳定性的影响。 此定理表明，随着时间的演化，网络的状态总是朝能量减少的方向运动。网络的平衡点就是E的极小点。 关于Hopfield能量函数的几点说明 当对反馈网络应用能量函数后，从任一初始状态开始，因为在每次迭代后都能满足?E≤0，所以网络的能量将会越来越小，最后趋于稳定点?E=0。 Hopfield能量函数的物理意义是：在那些渐进稳定点的吸引域内，离吸引点越远的状态，所具有的能量越大，由于能量函数的单调下降特性，保证状态的运动方向能从远离吸引点处，不断地趋于吸引点，直到达到稳定点。 1）能量函数为反馈网络的重要概念。根据能量函数可以方便的判断系统的稳定性； 2）Hopfield选择的能量函数，只是保证系统稳定和渐进稳定的充分条件，而不是必要条件，其能量函数也不是唯一的。 组合优化问题，就是在给定约束条件下，求出使目标函数极小（或极大）的变量组合问题。 将Hopfield网络应用于求解组合优化问题，就是把目标函数转化为网络的能量函数，把问题的变量对应于网络的状态。这样当网络的能量函数收敛于极小值时，问题的最优解也随之求出。 旅行商问题，简称TSP（Traveling Salesman Problem）。问题的提法是：设有N个城市， ,记为： ,用dij表示ci和cj之间的距离， dij0,(i,j=1,2,…n) 。 有一旅行商从某一城市出发，访问各城市一次且仅一次后再回到原出发城市。要求找出一条最短的巡回路线。 N=5 TSP Probelm N=5，并用字母A、B、C、D、E、分别代表这5个城市。当任选一条路径如B-D-E-A-C,，则其总路径长度可表示为 第一步就是将问题映照到一个神经网络。假定每个神经元的放大器有很高的放大倍数，神经元的输出限制在二值0和1上，则映照问题可以用一个换位矩阵（Permutation Matrix）来进行，换位矩阵可如下图所示。 ? 换位矩阵 约束条件和最优条件 矩阵的每个元素对应于神经网络中的每个神经元，则这个问题可用N2=52=25个神经元组成的Hop-field网络来求解。 问题的约束条件和最优条件如下： (1) 一个城市只能被访问一次=换位矩阵每行只有一个“1”。 (2) 一次只能访问一个城市=换拉矩阵每列只有一个“1”。 ( 3) 总共有N个城市=换位矩阵元素之和为N。 (4) 求巡回路径最短=网络能量函数的最小值对应于TSP的最短路径。 * 6.3 连续型Hopfield神经网络 连续型Hopfield神经网络在组合优化中的应用 0 0 1 0 0 E 0 0 0 1 0 D 1 0 0 0 0 C 0 0 0 0 1 B 0 1 0 0 0 A 5 4 3 2 1 次序 城市