第五章霍普菲尔德（Hopfield）神经网络.ppt

第五章霍普菲尔德（Hopfield）神经网络 网络结构形式 Hopfield网络是单层对称全反馈网络，根据激励函数选取的不同，可分为离散型和连续性两种（ DHNN,CHNN）。 DHNN：作用函数为δ函数，主要用于联想记忆。 CHNN：作用函数为S型函数，主要用于优化计算 非线性系统状态演变的形式 在Hopfield网络中，由于反馈的存在，其加权 输入和ui，i=1~n为网络状态，网络的输出为y1~yn， 则u,y的变化过程为一个非线性动力学系统。可用非线性差（微）分方程来描述。一般有如下的几种状态演变形式： （1）渐进稳定 （2）极限环 （3）混沌现象 （4）状态轨迹发散 网络结构及I/O关系 对于以符号函数为激励函数的网络，网络的方程可 写为： 图2.8.2 例1：计算如图5所示3节点DHNN的状态转移关系。考虑到DHNN的权值特性wij＝wji，可简化为图6右边的等价图。 DHNN的状态变换 DHNN的状态变换 DHNN的状态变换 DHNN的能量函数 DHNN的能量函数 DHNN能量极小点的设计 DHNN能量极小点的设计 如果把系统的稳定点视做一个记忆的话，那么从初始状态朝这个稳定点移动的过程就是寻找该记忆的过程。 权值的设计方法 权值设计的方法有外积法、伪逆法、正交设计法等。 外积法（Hebb学习规则）：是一种比较简单，在一定条件下行之有效的方法。 当网络只记忆一个稳定的模式时，该模式肯定被网络准确无误的记忆住。但当所要记忆的模式增加时，情况则发生了变化，主要表现在下列两点上： 1、权值移动 2、交叉干扰 权值移动 在网络的学习过程中，网络对权值的记忆实际上是逐个实现的。即对权值W，有程序: 当网络准确的记忆X1时，为了记忆X2,需要在记忆样本X1的权值上加上对样本X2的记忆项X2 X2T-I，将权值在原来值的基础上产生了移动。这样网络有可能部分地遗忘了以前已记忆的模式。 从动力学的角度来看，k值较小时，网络Hebb学习规则可以使输入学习样本成为其吸引子。随着k值的增加，不但难以使后来的样本成为网络的吸引子，而且有可能使以记忆住的吸引子的吸引域变小，使原来处于吸引子位置上的样本从吸引子的位置移动。对一记忆的样本发生遗忘，这种现象称为“疲劳”。 交叉干扰 网络在学习多个样本后，在回忆阶段，即验证该记忆样本时所产生的干扰，称为交叉干扰。 对外积型设计而言，如果输入样本是彼此正交的，n个神经元的网络其记忆容量的上界为n。但是在大多数情况下，学习样本不可能是正交的，因而网络的记忆容量要比n小得多，一般为(0.13~0.15)n。 权值修正的其它方法 1、?学习规则 2、伪逆法 3、正交化权值设计 ?学习规则 ?学习规则基本公式是： 即通过计算该神经元节点的实际激励值A(t)，与期望状态T(t)进行比较，若不满足要求，将两者的误差的一部分作为调整量，若满足要求，则相应的权值保持不变。 伪逆法 正交化权值设计 Hopfield网络解决TSP问题 （1）TSP（Traveling Saleman Problem)问题描述：对于有n个城市的集合，找出一条最短的经过每个城市各一次（仅一次）且回到出发地的路径。 （2）简单数学分析：n个城市间存在n!/(2n)条可能路径，路径总数随n按指数规律增长，对于较大的n，先找出所有可能的路径，然后再对其进行比较以得到最短路径的方法难以在计算机上以较短的时间得到答案。 （3）神经网络方法：先把问题转化成适合于神经网络处理的形式。用n*n个神经元构成网络，用神经元的状态来表示某一个城市在某一条有效路径中的位置。 Hopfield网络解决TSP问题 dxy——城市X与城市Y之间的距离； yxi——城市X的第i个神经元的状态： 1 城市X在第i个被访问 yxi= 0 城市X不在第i个被访问 wxi,yj—城市X的第i个神经元到城市Y的第j个神经元的连接权。 Hopfield网络解决TSP问题 例如：四个城市X、Y、Z、W。下表输出状态矩阵可唯一地确定对所有城市的访问次序。 Hopfield网络解决TSP问题 为了解决TSP问题，必须构成这样的网络：在网络运行时，计算能量降低。网络稳定后其输出状态代表城市被访问的次序，即构成上表所示的换位阵。网络能量的极小点对应于最佳（或较佳）路径的形成，此时由输出换位阵能得到较佳路径。 解决问题最关键的一步