第三章_神经网络2-hopfield网络.ppt

第5章 单片机的定时/计数器与串行接口 智能控制技术 西安工业大学 电 信 学 院 宋 晓 茹 7.4 反馈神经网络模型——Hopfield网络 Hopfield网络属于无监督学习神经元网络。Hopfield网络是单层反馈网络，是一种全连接加权无向图，可分为连续型和离散型二种形式。 7.4 反馈神经网络模型——Hopfield网络 1982年，J．Hopfield提出了可用作联想存储器的互连网络，这个网络称为Hopfield网络模型，也称Hopfield模型。Hopfield神经网络模型是一种循环神经网络，从输出到输入有反馈连接。 图7－26 Hopfield网络 Hopfield网络是单层反馈网络，有n个神经元节点， 每个神经元的输出连接到其它神经元的输入。各个节点自己没有反馈，图中的每个节点都附有一个阈值和权系数。每个节点都可处于一种可能的状态（1或－1），即当该神经元所受的刺激越过其阈值时，神经元处于一种状态（比如1）。否则神经元就始终处于另一状态（比如－1），图中顶点的个数就是该神经网络的阶数 。 从时域上来看，Hopfield 网可以用一组耦合的非线性微分方程来表示。在一定条件下，Hopfield网络可以用作联想存储器。 Hopfield网络得到广泛应用的另一个特点是它具备快速优化能力 。 离散型的Hopfield网络即二值型的Hopfield网络，只有一个神经元层次。每个处理单元均有一个活跃值（状态）取两个可能的状态值之一，通常用0和1或－1和1来表示神经元的两个状态，即抑制或兴奋。整个网络的状态由单一神经元的状态组成。网络的状态可用一个由0(-1)/1组成的矢量来表示，其中每一元素对应于某个神经元的状态 。 其特点： 1) 自联想回归(或全连接)，所有神经元与其它单元相连，但无自连接； 2) 按内容编址存贮器方式进行操作，新提供的输入模式可自动找到已存贮的合适模式。 Hopfield网络可以看成是一个动态系统，其相空间包含代表系统基本存贮内容的固定(稳定)点的集合。 Hopfield网络可以检索信息,以一定的误差恢复信息。 图7－27 Hopfield基本单元 如果Hopfield网络是一个能收敛的稳定网络，则反馈与迭代过程所产生的变化越来越小，一旦到达了稳定平衡状态；那么Hopfield网络就会输出一个稳定的恒值。对于一个Hopfield网络来说，关键是在于确定它在稳定条件下的权系数。 应该指出：反馈网络有稳定的，也有不稳定的。对于Hopfield网络来说，还存在如何判别它是稳定网络，亦或是不稳定的问题；而判别依据是什么，也是需要确定的。 1 离散Hopfield网络 Hopfield最早提出的网络是二值神经网络，神经元的输出只取1和0这两个值，所以，也称离散Hopfield神经网络。在离散HopfieId网络中，所采用的神经元是二值神经元；故而，所输出的离散值1和0分别表示神经元处于激活和抑制状态。 先考虑由三个神经元组成的离散Hopfield神经网络，其结构如图7—13中所示 。 图7—13 离散Hopfield神经网络结构图 第一层是实际神经元，故而执行对输人信息和权系数乘积求累加和，并由非线性函数f处理后产生输出信息。f是一个简单的阈值函效，如果神经元的输出信息大于阈值θ，那么，神经元的输出就取值为1；小于阈值θ，则神经元的输出就取值为θ 。 对于二值神经元，它的计算公式如下 其中：xi为外部输入。并且有： Yi=1,当Ui≥θi时 Yi=0,当Uiθi时 对于一个离散的Hopfield网络，其网络状态是输出神经元信息的集合。对于一个输出层是n个神经元的网络，则其t时刻的状态为一个n维向量： Y(t)=[Y1(t),Y2(t),...,Yn(t)]T 故而，网络状态有2n个状态；因为Yj(t)(j＝1……n)可以取值为1或0；故n维向量Y(t)有2n种状态，即是网络状态。 对于三个神经元的离散Hopfield网络，它的输出层就是三位二进制数；每一个三位二进制数就是一种网络状态，从而共有8个网络状态。网络状态如图7—14中所示。立方体的每个顶角表示一种网络状态。同理，对于n个神经元的输出层，它有2n个网络状态，也和一个n维超立方体的顶角相对应。 结构如图7—13 如果Hopfield网络是一个稳定网络，那么在网络的输入端加入一个输入向量，则网络的状态会产生变化，也就是从超立方体的一个顶角转移向另一个顶角，并且最终稳定于一个特定的顶角。 对于一个由n个神经元