人工神经网络基础_ANN课程笔记 3、Hopfield神经网络.docxVIP

第三章 Hopfield神经网络 HNN模型是目前得到了最充分研究和广泛应用的反馈式神经元网络模型。Hopfield将“能量函数”的概念引入分析一类人工神经元网络的稳定过程，使网络运行的稳定性判断有了可靠和简便的依据。开辟了人工神经网络应用于联想记忆和优化计算等领域的范围。 Hopfield神经网络利用渐近稳定点来解决问题： 如果把系统的稳定点视为一个记忆的话，那么从初态朝这个稳定点的演变过程就是寻找记忆的过程，初态可以认为是给定的有关记忆的部分信息；（联想记忆） 如果把系统的稳定点视为一个能量函数的极小点，把能量函数视为一个优化问题的弥补函数，那么从初态朝这个稳定点的演变过程就是一个求该优化问题的过程。（优化计算） 这样的优点在于它的解并不需要真的去计算，而只要构成这种反馈网络，适当的设计其连接权值和输入就可达到目的。 一、离散型Hopfield网络 1、网络结构 Hopfield网络为一层结构的反馈网络，能处理双极型离散数据,即输入 及二进制数据。Hopfield网络的各个神经元都是相互连接的，即每一个神经元都将自己的输出通过连接权传送给所有其它神经元，同时每个神经元又都接收所有其它神经元传递过来的信息。特别值得注意的是，由于Hopfield网络的这种结构特征，对于每一个神经元来说，自己输出的信号经过其它神经元又反馈回自己，所以也可以认为Hopfield网络是一种反馈型神经网络。 对网络给定初始输入x时，网络就处于特定的初始状态，由此初始状态开始运行，可以得到网络输出即网络的下一状态； 然后，这个输出状态通过反馈回送到网络的输入端，作为网络下一阶段运行的输入信号，而这个输入信号可能与初始输入信号不同，由这个新的输入又可得到下步的输出，这个输出也可能与上一步的输出不同； 如此下去，网络的整个运行过程就是上述反馈过程的重复。 如果网络是稳定的，那么，随着许多次反馈运行，网络状态的变化减少，直到后来不再变化，达到稳态。这时，在网络的输出端可以得到稳定的输出。 2、网络运行规则 (1) 从网络中随机选取一个神经元ui； (2) 求所选中的神经元ui的所有输入的加权总和； (3) 计算ui的第t+1时刻的输出值，即 (4) ui以外的所有神经元输出保持不变 (5) 返回到第一步，直至网络进入稳定状态。 3、网络计算能量函数与网络收敛 设t时刻网络的状态用n个神经元的输出向量U(t)表示： 设每个神经元只有“1”或“0”两种状态，所以n个神经元共有 个组合状态，即网络具有种状态。 网络的能量函数可定义为网络状态的二次函数： 按照Hopfield工作运行规则，随着网络状态的更新，网络能量函数将单调递减。 当网络的状态随时间发生变化时，网络能量沿其减小的方向变化，最后落入能量的极小点。一旦能量落入某个极小点之后，按Hopfield工作运行规则，网络能量函数将会“冻结”在那里。也就是说网络不见得一定收敛到全局的最小点，这是Hopfield网络的一个很大缺陷。同样的，Hopfield网络的收敛情况依赖于网络的初始状态。 对于同样结构的网络，当网络参数有所变化时，如连接权初始值随机数的取值形式或随机数的振幅有所不同时，网络的能量函数也将发生变化，其曲线或曲面(超曲面)对应的极小点的个数和大小也将变化。 4、应用举例 用Hopfield网络解决具体优化问题的过程： (1) 对于特定的问题，选择一种合适的表示方法，使得神经元网络的输出与问题的解对应起来； (2) 构造神经元网络的能量函数，使其最小值对应于问题的最佳解； (3) 由能量函数倒过来推出神经元网络的结构，即神经元之间的连接权和阈值； (4) 由网络结构建立起网络，令其运行，那么稳定状态就是在一定条件下问题的解。在条件有限的情况下，由网络结构可推导出网络的运行方式，在计算机上模拟，也能得到满意的解。 5、反馈式神经网络的特点 (1) 结构的特点： 前馈型神经网络：取连续或离散变量，一般不考虑输入与输出在时间上的滞后效应，只表达输出和输入的映射关系； 反馈型神经网络：可以用连续或离散变量，考虑输入与输出之间在时间上的延迟，需要用同台方程（差分方程或微分方程）来描述神经元和系统的数学模型。， (2) 学习方式的特点： 网络的权值不是经过反复学习获得，而是按一定规律进行设计，网络权值一经确定就不再改变。 (3) 运行方式的特点： 网络中各神经元的状态在运行过程中不断更新演变，网络运行达到稳态时各神经元的状态就是问题之解。