连续Hopfield网络能量函数-Read.PPTVIP

2006-4-14 演讲人：吴凡 蔡佳佳 HOPFIELD网络模型理论 吴凡 蔡佳佳 神经网络的几种模型 目前的神经网络典型的模型拓扑结构有: 1层次网络模型 2互连网络模型 互连网络模型 互连网络模型中任意两个神经元之间都具有相互连接的关系.网络的动作采用动态分析法,即从某个初始状态出发,根据网络的结构和神经元的特性进行网络的能量最小化计算逼近,最后达到稳定状态.能量公式一般采用Liyapunov函数. 比较重要的两种模型结构是:1前馈神经网络模型 2 反馈神经网络模型 层次网络模型 层次网络模型将大量神经元按层次结构分成若干层顺序连接,在输入层加上刺激信息,通过中间各层变换,到达输出层,完成一次信息处理.如BP网络. 神经网络的几种模型 前馈神经网络模型前面上课时已经讲过，如BP模型。 神经网络的几种模型 反馈网络模型就是把输出当下次输入来用，基本形如图： 反馈神经网络 反馈网络(Recurrent Network)，又称自联想记忆网络，其目的是为了设计一个网络，储存一组平衡点，使得当给网络一组初始值时，网络通过自行运行而最终收敛到这个设计的平衡点上。 反馈网络能够表现出非线性动力学系统的动态特性。它所具有的主要特性为以下两点： 第一、网络系统具有若干个稳定状态。当网络从某一初始状态开始运动，网络系统总可以收敛到某一个稳定的平衡状态； 第二，系统稳定的平衡状态可以通过设计网络的权值而被存储到网络中。 神经网络的几种模型 显然这种反馈网络可以用自动机描述。这里定义网络稳定输出状态为吸引子。一个吸引子可以是一个确定的状态或在几个状态中绕行的环（极限环）。 神经网络的几种模型 HOPFIELD网络 Hopfield网络是单层对称全反馈网络，根据其激活函数的选取不同，可分为离散型的Hopfield网络(Discrete Hopfield Neural Network，简称DHNN)和连续型的Hopfield网络(Continuous Hopfield Neural Network，简称CHNN)。离散Hopfield网络的激活函数为二值型的，其输入、输出为{0，1}的反馈网络，主要用于联想记忆。 连续Hopfield网络的激活函数的输入与输出之间的关系为连续可微的单调上升函数，主要用于优化计算。 Hopfield网络是利用稳定吸引子来对信息进行储存的，利用从初始状态到稳定吸引子的运行过程来实现对信息的联想存取的。 连续Hopfield网络 连续Hopfield网络也是单层的反馈网络。其实质上是一个连续的非线性动力学系统，它可以用一组非线性微分方程来描述。当给定初始状态，通过求解非线性微分方程组即可求得网络状态的运行轨迹。若系统是稳定的，则它最终可收敛到一个稳定状态。 连续Hopfield网络 连续HOPFIELD模型可以用动力学方程描述 该方程是根据Kirchhoff laws 列出的，因为HOPFIELD模型中每个神经元是用运放电路实现的。 连续Hopfield网络 连续型HNN模型 经过推导,系统的动力方程如下: 连续Hopfield网络 HOPFIELD模型属于反馈型神经网络。 连续的HOPFIELD神经网络可以用动力学方程描述，且具有性质： 1 神经元是一个输入输出变换器，其传输函数有Sigmoid函数特性 2 具有代表产生动作电位的神经元和代表按渐近方式工作的神经元的能力 3 细胞膜具有时空整合作用 4 神经元之间存在着兴奋型和抑制型连接 连续Hopfield网络 HOPFIELD网络学习算法如下： 1 设定连接权值 连续Hopfield网络 2 初始化输出值,输入未知模式 3 对输出迭代直到收敛,其中要用一个非线性函数 连续Hopfield网络 这种重复迭代直到节点输出不变或在几个输出值之间绕行为止.就是前面提到的稳定子. 将网络输出与在零时刻输入的未知模式进行匹配的过程，称为网络的识别（工作）阶段。在该阶段，网络按离散时间步迭代，直到达到稳定情况为止。 连续Hopfield网络能量函数： Hopfield网络能量函数E（t）是一个随时间增长而递减的函数，网络的平稳点就是E（t）的极小值点。该网络 1具有良好的收敛性，即网络可以从任意非平衡轨迹出发，最后收敛于某个平衡状态。 2具有有限个平衡点，而且如果这些平衡点是稳定的，那么网络一定是渐近稳定的。 3渐近网络平衡点是网络能量函数极小点 . 4网络信息存储在神经元之间连接权中。 5网络以大规模非线性连续时间并行方式处理信息，其计算时间就是系统趋于平衡点的时间。 连续Hopfield网络 HOPFIELD神经网络对于给定模式通过降低其能量来简单实现存储。网络没有隐含单元也不能编码数据。 如果使在网