神经网络第5章 Hopfield神经网络－T.pptVIP

第5章Hopfield神经网络 5.0 前言 5.1 神经动力学 5.2 离散Hopfield神经网络 5.3 连续Hopfield神经网络 5.4 最优化计算 5.5 仿真实例 5.0 前言 前向网络 学习:强有力的学习系统，系统结构简单、易于编程 系统:静态非线性映射，通过简单非线性处理单元的 复合映射可获得复杂系统的非线性处理能力 计算:并不是一强有力系统，缺乏丰富的动力学行为 反馈神经网络（离散Hopfield网络） 反馈动力学系统，更强的计算能力 1982年J. Hopfield，单层全互连对称突触连接的反馈网络是最典型的反馈网络模型 用能量函数的思想形成了一种新的计算方法 1.阐明了神经网络与动力学的关系 2. 用非线性动力学的方法来研究神经网络 3.建立了神经网络稳定性判据，信息存储在网络中神经元之间的连接上 反馈神经网络（连续Hopfield网络） 1984年，Hopfield设计与研制了Hopfield网络模型的电路，指出神经元可以用运算放大器来实现，所有神经元的连接可用电子线路来模拟 Hopfield网络的应用 最优化计算 TSP （Traveling Salesman Problem） 联系记忆 AM（Associative Memory） Hopfield网络是神经网络发展历史上的一个重要的里程碑。 Hopfield网络的学习算法 Hopfield网络的权值 1.严格来说不是通过学习得到的。 2.根据网络的用途设计出来 3.可采用某些学习规则对权值进行微调 5.1 神经动力学 1989年Hirsch把神经网络看成是一种非线性动力学系统，称为神经动力学（Neurodynamics）。 确定性神经动力学将神经网络作为确定性行为，在数学上用非线性微分方程的集合来描述系统的行为，方程解为确定的解。 统计性神经动力学将神经网络看成被噪声所扰动，在数学上采用随机性的非线性微分方程来描述系统的行为，方程的解用概率表示。 神经动力学 动力学系统是状态随时间变化的系统。令v1(t), v2(t), …, vN(t) 表示非线性动力学系统的状态变量，其中 t 是独立的连续时间变量，N 为系统状态变量的维数。大型的非线性动力学系统的动力特性可用下面的微分方程表示： 函数是包含自变量的非线性函数。为了表述方便可将这些状态变量表示为 一个N×1维的向量，称为系统的状态向量. 可用向量形式表示系统的状态方程： 如果满足： 则称矢量 为系统的稳态或平衡态。 N维向量所处的空间称为状态空间， 状态空间通常指的是欧氏空间，当然也可以是其子空间，或是类似圆、球、圆环和其他可微形式的非欧氏空间。 如果一个非线性动力系统的向量函数 F(V(t)) 隐含地依赖于时间t，则此系统称为自治系统，否则不是自治的。 稳定性和收敛性的定义: 定义1 平衡态 在满足下列条件时是一致稳定的，对任意的正数 ，存在正数 , 当 。 时，对所有的 均有： 定义2 若平衡态 是收敛的，存在正数 ， 满足 ，则当 时 。 。、、、 定义 定义3 若平衡态 是稳定的、收敛的，则该平衡态被称为渐进稳定。 定义4 若平衡态 是稳定的，且当时间 t 趋向于无穷大时，所有的系统轨线均收敛于 ，则此平衡态是渐进稳定的或全局渐进稳定的。 稳定性和渐进稳定性定理 Lyapunov定理： 定理1 若在平衡态 的小邻域内存在有界正函数E(V)，该函数对时间的导数在区域中是有界非正函数，则 是稳定的。 定理2 若在平衡态 的小邻域内存在有界正函数E(V) ，该函数对时间的导数在区域中是有界负函数，则 是渐进稳定的。 满足上述条件的标量函数E(V)称为平衡态的Lyapunov函数。性和渐进稳定性，其定理如下： 这些定理要求Lyapunov函数E(V)是有界正函数，这样的函数定义如下：函数E(V)在状态空间 中是有界正函数，则对所有的 满足下列条件： （1）函数E(V)关于状态向量V中的每个元素是 连续偏导的； （2） （3） if 。 若E(V)是Lyapunov函数，(定理1)如果 则平衡态