第七Hopfield网络.ppt

第七章 Hopfield神经网络 北京科技大学 信息工程学院 付冬梅 fdm2003@163.com Hopfield网络结构和模型 Hopfield网络输出的计算过程(离散) Hopfield网络的稳定性 Hopfield网络的学习算法 Hopfield网络的几个问题 Hopfield网络的MATLAB实现示例 第七章 Hopfield神经网络 概述 Hopfield网络是神经网络发展历史上的一个重要的里程碑。由美国加州理工学院物理学家J.J.Hopfield教授于1982年提出，是一种单层反馈神经网络。 Hopfield网络是一种由非线性元件构成的反馈系统，其稳定状态的分析比前向神经网络要复杂得多。1984年，Hopfield设计并研制了网络模型的电路，并成功地解决了旅行商(TSP)计算难题(优化问题)。 Hopfield网络分为离散型和连续型两种网络模型，分别记作DHNN (Discrete Hopfield Neural Network) 和CHNN (Continues Hopfield Neural Network) 。 Hello,I’m John Hopfield 7-1 Hopfield网络结构和模型 Hopfield网络有离散与连续两种类型。 Hopfield网络是得到最充分研究和应用的神经网络模型之一，在众多的研究者之中，美国科学家J.J Hopfield的工作具有特别重要的意义，他为这一网络引入了一种稳定过程，即提出了人工神经网络能量函数（也称李雅普诺夫函数）的概念，使网络的运行稳定性判断有了可靠而简便的依据。 Hopfield网络在联想存取及优化计算等领域得到了成功的应用，拓宽了神经网络的应用范围。 7-1-1 离散型Hopfield网络 离散Hopfield网结构见图(a)，是单层反馈非线性网，每一节点的输出反馈至输入。 　 Hopfield用模拟电路(电阻、电容和运算放大器)实现网络的神经元(节点)，见图(b)。 图9-1 离散型Hopfeld网络 网络为一层结构的反馈网络，能处理双极型离散数据 (即输入 –1,+1)，及二进制数据(0,1)。 给定初始输入时，网络处于特定的初始状态。网络从初始状态开始运行，可得到网络下一状态的输出。这个输出状态通过反馈连接送到网络的输入端，作为下一阶段运行的输入信号，它可能与初始输入信号不同。如此下去，网络的整个运行过程就是上述反馈过程的重复。如果网络稳定，那么随着多次反馈运行，网络状态最后将达到稳态。用公式表达为： 其中 已被定义，为方便起见， 常取0值。若有某个时刻t，从此以后网络状态下不再变迁，即有 ，则有输出 。 7-1-1 离散型Hopfield网络 7-1-1 离散型Hopfield网络 相关参数说明 任意神经元 与 间的突触权值为 ，神经元之间连接是对称的，神经元自身无连接. 每个神经元都同其他的神经元相连,其输出信号经过其他神经元又有可能反馈给自己 设Hopfield网络中有n个神经元，其中任意神经元的输入用 表示，输出 用表示，它们都是时间的函数，其中 也称为神经元在时刻 的状态。 激励函数 7-1-1 离散型Hopfield网络 7-1-2 连续型Hopfield网络 连续Hopfield网结构见图(a)，是单层反馈非线性网，每一节点的输出反馈至输入。 　 Hopfield用模拟电路(电阻、电容和运算放大器)实现网络的神经元(节点)，见图(b)。 图9-2 连续型Hopfeld网络 图9-2 连续型Hopfeld网络 网络模型 设网络由 n 个节点组成,第 i 个节点的方程： ? ? ? í ì = + - - = ? = ) ( 1 i i n j i i i ij i j i i u f V I R u R u V dt du C 设 1 1 1 1 R R R w R i i ij j ij ij = + = ì í ? ? ? ? ? ? 则 C du dt R u w V I V f u i i i i ij j j i i i = - + + = ì í ? ? ? ? 1 ( ) Hopfield网络模型 图9-1 连续型Hopfeld网络 运算放大器模拟了神经元的非线性特性； 设 x