第5章 Hopfield神经网络与联想记忆.docVIP

第5章 Hopfield神经网络与联想记忆 前面介绍了前向网络及其学习算法，对于所介绍的前向网络，从学习的观点来看，它是一个强有力的学习系统，系统结构简单、易于编程；从系统的观点来看，它是一个静态非线性映射，通过简单非线性处理单元的复合映射可获得复杂系统的非线性处理能力；从计算的观点来看，它并不是一强有力系统，缺乏丰富的动力学行为。 反馈神经网络是一个反馈动力学系统，具有更强的计算能力。1982年美国物理学家J. Hopfield提出的单层全互连含有对称突触连接的反馈网络是最典型的反馈网络模型。Hopfield 用能量函数的思想形成了一种新的计算方法，阐明了神经网络与动力学的关系，并用非线性动力学的方法来研究这种神经网络的特性，建立了神经网络稳定性判据，并指出信息存储在网络中神经元之间的连接上，形成了所谓的Hopfield网络，称之为离散Hopfield网络。而且Hopfield还将该反馈网络同统计物理中的Ising模型相类比，把磁旋的向上和向下方向看成神经元的激活和抑制两种状态，把磁旋的的相互作用看成神经元的突触权值。这种类推为大量的物理学理论和许多的物理学家进入神经网络领域铺平了道路。1984年，Hopfield设计与研制了Hopfield网络模型的电路，指出神经元可以用运算放大器来实现，所有神经元的连接可用电子线路来模拟，称之为连续Hopfield网络。用该电路Hopfield成功的解决了旅行商（TSP）计算难题（优化问题）。Hopfield网络是神经网络发展历史上的一个重要的里程碑。 把神经网络看作一种非线性的动力学系统，并特别注意其稳定性研究的学科，被称为神经动力学（Neurodynamics）。Hopfield神经网络可看作一种非线性的动力学系统，所以为了方便介绍Hopfield神经网络，本章首先简单介绍神经动力学。 前面介绍的单层前向网络和多层前向网络，其思路均是先介绍网络模型再介绍相应的学习算法。本章的思路有所不同，因为Hopfield网络的权值严格来说不是通过学习来得到的，而是根据网络的用途设计出来的，当然可采用某些学习规则对权值进行微调。Hopfield网络最著名的用途就是联想记忆和最优化计算。本章首先介绍神经动力学的基本概念，接着讨论离散Hopfield网络和连续Hopfield网络模型，再通过联想记忆问题介绍Hopfield网络权值的设计方法，而Hopfield网络用于最优化计算将通过仿真实例加以介绍。 5.1神经动力学 1989年Hirsch把神经网络看作一种非线性的动力学系统，称为神经动力学。神经动力学分为确定性神经动力学和统计性神经动力学。确定性神经动力学将神经网络作为确定性行为，在数学上用非线性微分方程的集合来描述系统的行为，方程解为确定的解。统计性神经动力学将神经网络看成被噪声所扰动，在数学上采用随机性的非线性微分方程来描述系统的行为，方程的解用概率表示。 动力学系统是状态随时间变化的系统。令v1(t), v2(t), …, vN(t)表示非线性动力学系统的状态变量，其中t是独立的连续时间变量，N为系统状态变量的维数。大型的非线性动力学系统的动力特性可用下面的微分方程表示： （5.1） 其中，函数是包含自变量的非线性函数。为了表述方便，可将这些状态变量表示为一个维的向量，称为系统的状态向量。（5.1）式可用向量表示为： （5.2） N维向量所处的空间中称为状态空间，状态空间通常指的是欧氏空间，当然也可以是其子空间，或是类似圆、球、圆环和其他可微形式的非欧氏空间。如果一个非线性动力系统的向量函数隐含地依赖于时间t，则此系统称为自治系统，否则不是自治的。 考虑（5.2）式状态空间描述的动力系统，如果下列等式成立： （5.3） 则称矢量为系统的稳态或平衡态。 在包含平衡态的自治非线性动力学系统中，稳定性和收敛性的定义如下（Cook,1986）： 定义1 平衡态在满足下列条件时是一致稳定的，对任意的正数，存在正数，当时，对所有的，均有。 定义2 若平衡态是收敛的，存在正数满足，则当时，。 定义3 若平衡态是稳定的、收敛的，则该平衡态被称为渐进稳定。 定义4 若平衡态是稳定的，且当时间趋向于无穷大时，所有的系统轨线均收敛于，则此平衡态是渐进稳定的或全局渐进稳定的。 定义了动力稳定系统中平衡态的稳定性和渐进稳定性，下一步就是证明稳定性。1892年Lyapunov提出了由关于稳定性概念的基本理论，被称为Lyapunov直接方法。该方法被广泛应用于非线性、线性系统和时变、时不变系统的稳定性研究。 在含有状态向量V和平衡态的非线性自治动力系统中，Lyapunov定理描述了状态空间等式（5.2）的稳定性和渐进稳定性，其定理如下： 定理1 若在平衡态的