Hopfield神经网络综述.docxVIP

题目： Hopfield 神经网络综述 一、概述： 1.什么是人工神经网络（ Artificial Neural Network ，ANN) 人工神经网络是一个并行和分布式的信息处理网络结构， 该网络结构一般由许多个神 经元组成， 每个神经元有一个单一的输出， 它可以连接到很多其他的神经元， 其输入有多个 连接通路，每个连接通路对应一个连接权系数。 人工神经网络系统是以工程技术手段来模拟人脑神经元（包括细胞体，树突，轴突） 网络的结构与特征的系统。 利用人工神经元可以构成各种不同拓扑结构的神经网络， 它是生 物神经网络的一种模拟和近似。 主要从两个方面进行模拟： 一是结构和实现机理； 二是从功 能上加以模拟。 根据神经网络的主要连接型式而言， 目前已有数十种不同的神经网络模型， 其中前馈 型网络和反馈型网络是两种典型的结构模型。 反馈神经网络，又称自联想记忆网络，其目的是为了设计一个网络，储存一组平衡点， 使得当给网络一组初始值时， 网络通过自行运行而最终收敛到这个设计的平衡点上。 反馈神经网络是一种将输出经过一步时移再接入到输入层的神经网络系统。 反馈网络能够表现出非线性动力学系统的动态特性。它所具有的主要特性为以下两点： 1）.网络系统具有若干个稳定状态。当网络从某一初始状态开始运动，网络系统总可以收敛到某一个稳定的平衡状态； 2） .系统稳定的平衡状态可以通过设计网络的权值而被存储到网络中。 反馈网络是一种动态网络， 它需要工作一段时间才能达到稳定。 该网络主要用于联想 记忆和优化计算。 在这种网络中， 每个神经元同时将自身的输出信号作为输入信号反馈给其他神经元，它需要工作一段时间才能达到稳定。 2.Hopfield 神经网络 Hopfield 网络是神经网络发展历史上的一个重要的里程碑。由美国加州理工学院物理 学家 教授于 1982 年提出，是一种单层反馈神经网络。 Hopfield 神经网络是反馈网络中最简 单且应用广泛的模型，它具有联想记忆的功能。 Hopfield  神经网络模型是一种循环神经网络，  从输出到输入有反馈连接。  在输入的激励 下，会产生不断的状态变化。 反馈网络有稳定的，也有不稳定的，如何判别其稳定性也是需要确定的。对于一个 Hopfield 网络来说，关键是在于确定它在稳定条件下的权系数。 下图中，第 0 层是输入，不是神经元；第二层是神经元。 w13 w21 w23 第0层 w31 w11 w22 w33 w12 w 32 x1 第1层 x2 x3 y1 y2 y3 Hopfield 网络示意图 1984 年， Hopfield 设计并研制了网络模型的电路，并成功地解决了旅行商 (TSP)计算难 题(快速寻优问题 )。 根据网络的输出是离散量或是连续量， Hopfield 网络也分为离散和连续的两种。 Hopfield 神经网络有两种： 离散 Hopfield 网络（ DHNN）和连续 Hopfield 网络（ CHNN） 。 1）离散 Hopfield 网络（ DHNN）：神经元的输出只取 1 和 0，分别表示神经元处于激活和抑 u j w ij y ix j 制状态。对于二值神经元，它的计算公式如下 i yi ，当 u i 0 时 1 yi 0 ，当 ui 时 其中， xi 为外部输入。并且有： 0 2）连续 Hopfield 网络（ CHNN）拓扑结构和 DHNN 的结构相同。不同之处在于其函数 g 不是 阶跃函数，而是 S形的连续函数。一般取 G (u)=1/(1+ eu ) 二、特性分析 1.离散 Hopfield 网络（ DHNN）的结构和工作方式 离散 Hopfield 网络是一个单层网络，有 n 个神经元节点，每个神经元的输出均接到其 它神经元的输入。 各节点没有自反馈， 每个节点都附有一个阀值。 每个节点都可处于一种可 能的状态 （ 1 或－ 1），即当该神经元所受的刺激超过其阀值时， 神经元就处于一种状态 （比 如 1），否则神经元就始终处于另一状态（比如－ 1）。 一个 DHNN 的网络状态是输出神经元信息的集合。对于一个输出层是 n 个神经元的网 络,其 t 时刻的状态为一个 n 维向量： Y(t) = [y 1 (t), y 2 (t),?, y n (t)] T 因为 yi(t) 可以取值为 1 或 0，故 n 维向量 Y(t)有 2n 种状态，即网络有 2n 种状态。 如图所示：如果 Hopfield 网络是一个稳定 网络，有 3 个神经元，则有 8 种状态。右图 可直观看出：若在网络的输入端 上加入一个输入向量，则网络的状态会产生变化，即从超 立方体的一个顶点转向另一个顶点，并且最终稳定于一个特定的顶角 [6] 。 1