计算智能课件 第4章 反馈型神经网络.pptVIP

第四章 反馈型神经网络 第四章 反馈型神经网络 4.1 概述 4.2 离散型Hopfield神经网络 4.3 连续型Hopfield神经网络 4.4 Hopfield网络的应用实例 4.5 Boltzmann机 4.6 双向联想记忆网络 4.7 海明网络 4.1 概述 4.1.1 前馈型与反馈型神经网络的比较 4.1.2 反馈型神经网络模型 4.1.1 前馈型与反馈型神经网络的比较 (1) 前馈型神经网络只表达输入输出之间的映射关系，实现非线性映射；反馈型神经网络考虑输入输出之间在时间上的延迟，需要用动态方程来描述，反馈型神经网络是一个非线性动力学系统。 (2) 前馈型神经网络的学习训练主要采用BP算法，计算过程和收敛速度比较慢；反馈型神经网络的学习主要采用Hebb规则，一般情况下计算的收敛速度很快，并且它与电子电路有明显的对应关系，使得网络易于用硬件实现。 (3) 前馈型神经网络学习训练的目的是快速收敛，一般用误差函数来判定其收敛程度；反馈型神经网络的学习目的是快速寻找到稳定点，一般用能量函数来判别是否趋于稳定点。 (4)两者都有局部极小问题。 4.1.2 反馈型神经网络模型 一、网络结构 图4.1 单层全反馈型神经网络结构 输入输出关系为： j=1,2,…,n (4.1.1) 二、网络状态 (1)轨迹经过一段时间t (t0)后不会再延伸，而永远停留在X(t0+t)状态，这时称网络收敛到一个稳定点或平衡点。在一个反馈网络中，可能存在有多个稳定点，根据不同的情况，这些稳定点可分为： ① 渐近稳定点Xe ② 不稳定的平衡点Xf ③ 网络的解 ④ 网络的伪稳定点 (2)轨迹为环状，称为极限环。 (3)如果X(t)的轨迹在某个确定的范围内变化，但既不重复又不能停下来，状态变化为无穷多个，而轨迹也不发散到无穷远，这种现象成为混沌（Chaos）. (4)如果X(t)的轨迹随时间一直延伸到无穷远，此时状态发散，而系统的输出也发散。 三、网络的设计要求 (1)网络的稳定性 (2)网络的稳定点 (3)稳定点的吸引域 4.2 离散型Hopfield神经网络 4.2.1 离散型Hopfield神经网络模型 4.2.2 网络的稳定性定理 4.2.3 网络权值的学习 4.2.4 网络的稳定性实验 4.2.5 联想记忆 4.2.1 离散型Hopfield神经网络模型 一、网络结构 DHNN的结构是一个单层结构的全反馈网络，有n个节点，W是一个n×n的对称零对角权值矩阵，θ为n维阈值向量。每个节点可处于两个可能的状态之一，即1或-1。假设各节点的外加输入Ii=0，i=1,2,…,n。令Xi(t)表示t时刻节点i的状态，则节点i的下一个状态由下面算式决定： 网络的状态向量为X(t)∈{1,-1}n，且wii=0，i=1,2,…,n。 二、网络的工作方式 (1) 串行（异步）工作方式 任一时刻t，只有某一个节点i (随机地或确定性地选择)依据(4.2.1)和(4.2.2)式变化，而其余n-1个节点的状态保持不变，即： (2) 并行（同步）工作方式 任一时刻t，所有的节点都依据式(4.2.1)和(4.2.2)改变状态，即： 三、网络的状态 若网络从一个初态X(t0)出发，经过一个有限时刻t，网络的状态不再发生变化，即： 则称网络是稳定的，这时所有的节点输出不再变化，网络稳定在某一状态。 4.2.2 网络的稳定性定理 Hopfield定义了一个网络的能量函数： 由于Xi、Xj只可能为1或者为-1，wij、Ii有界，i、j=1,2,…,n，所以能量函数E也是有界的： 一、串行方式 定理4.1 当网络工作在串行方式下，满足wij=wji，wii=0，i