神经网络-- Hopfield网络.docVIP

Hopfield神经网络 前馈（前向）网络和反馈网络是当前人工神经网络研究中最基本的两种网络模型。1982年到1986年，美国物理学家Hopfield陆续发表文章报导了对反馈神经网络理论与应用的研究成果，引起了人们广泛的兴趣，并且将这种单层反馈网络称为Hopfield网络。 在单层全反馈网络中（基本Hopfield网络中），节点之间相互连接，每个节点接收来自其它节点的输入，同时又输出给其它节点，每个神经元没有到自身的连接。由于引入反馈，所以它是一个非线性动力学系统。其结构如下所示： （a） （b） 图1 Hopfield网络基本结构 前馈网络大多表达的是输出与输入间的映射关系，一般不考虑输出与输入间在时间上的滞后效应；反馈网络需要考虑输出与输入间在时间上的延时，需要利用动态方程（差分方程或微分方程）描述神经元和系统的数学模型。前馈网络的学习（训练）主要采用误差修正法，计算时间较长，收敛速度较慢；反馈网络（如Hopfield网络）的学习主要采用Hebb规则，收敛速度较快。 Hopfield网络在应用上除可作为联想记忆与分类外，还可用于优化计算。可以认为，Hopfield网络的联想记忆和优化计算这两种功能是对偶的：当用于联想记忆时，通过样本模式的输入给定网络的稳定状态，经学习求得联接权值；当用于优化计算时，以目标函数和约束条件建立系统的能量函数来确定联接权值，当网络演变至稳定状态时即可得出优化计算问题的解。 Hopfield网络神经元模型可以是离散变量，也可以连续取值。 一．离散Hopfield网络 1．网络结构及性能描述： 离散Hopfield网络模型如图1所示。设共有个神经元，表示从神经元到神经元的联接权，表示神经元的状态（取＋1或－1），表示神经元的净输入，有： ，即： （1） 或： 当时可认为神经元的状态保持不变。上式也可合并为： （2） 整个网络的状态可用列向量表示： 通常网络是对称的，且无自反馈，即：，。所以网络的联接权矩阵是维对角线为0的对称阵。 2．网络的工作方式： 离散Hopfield网络有两种工作方式： （1）串行（或异步，asynchronous）方式：任一时刻只有一个神经元的状态发生改变，其余神经元保持不变。动作顺序可以随机选择，也可按某确定顺序动作。 （2）并行（或同步，synchronous）方式：某一时刻所有神经元同时改变状态。 如果网络从时刻的初态开始，存在某一有限时刻，使得网络在此之后的状态不再发生变化，即： 则称网络达到稳定状态。显然稳定状态应满足： ， （3） 3．网络的能量函数： Hopfield网络的状态与其能量有关，定义网络的能量函数为： 异步方式： （4） 同步方式： （5） 由于、只能为＋1或－1，而和均有界，所以能量也是有界的，即： 4．网络稳定性分析： 收敛性通常是指在网络训练过程中，算法最终能使网络变得对样本集中所有样本均能满足给定的允许误差；稳定性是指网络运行时，由于网络信号的反馈作用，使每个输入向量（初始向量）经过网络不断地修复和加强，最后能给出相应的正确输出。 从任一初始状态开始，若每次迭代都能使网络能量的变化量，则网络能量将越来越小，最后趋向于稳态。对不同情况分别讨论如下： （1）异步方式，网络对称，无自反馈（，）： 设神经元状态发生改变，此时可能有： 相应的可能的能量变化为： 由，得： （6） 因为：，，所以： 当时，有：，，即：； 当时，有：，，即：； 所以得：。 （2）异步方式，网络对称，： 仍设神经元状态发生改变，此时： （7） 因为，而与同号，所以有：。 Hopfield网络状态的变化过程实际上是一个使网络能量极小化的过程，每次改变神经元的状态，其网络能量或者下降，或者与以前相同。 （3）同步方式，网络对称（）： 由（5）式得： 即： （8） 上式为两向量积，因为，所以向量与每个分量均同号，所以有：