第5章Hopfield神经网络与联想记忆.ppt

图5-5 吸引子与吸引域示意图 （2）联想阶段 联想过程就是给定输入模式，联想记忆网络通过动力学的演化过程达到稳定状态，即收敛到吸引子，回忆起已存储模式的过程。 图5.6 联想记忆网络的能量函数 图5.7 联想过程简化示意图 吸引子的数量代表着AM的记忆容量（Memory Capacity）或存储容量（Storage Capacity），存储容量就是在一定的联想出错概率容限下，网络中存储互不干扰样本的最大数目。 存储容量与联想记忆的允许误差、网络结构、学习方式以及网络的设计参数有关。 AM的吸引子越多，则网络的存储容量就越大。 吸引子具有一定的吸引域，吸引域是衡量网络容错性的指标，吸引域越大网络的容错性能越好，或者说网络的联想能力就越强。 5.4.2 Hopfield联想记忆网络 Hopfield网络是一神经动力学系统，具有稳定的平衡状态，即存在着吸引子，因而Hopfield网络具有AM功能。 将Hopfield网络作为AM需要设计或训练网络的权值，使吸引子存储记忆模式。 常用的设计或学习算法有：外积法（Outer Product Method）、投影学习法（Projection Learning Rule）、伪逆法（Pseudo Inverse Method）以及特征结构法（Eigen Structure Method）等。 考虑离散Hopfield网络的联想记忆功能。 设网络有N个神经元，每个神经元均取1或-1二值，则网络共有2N个状态，这2N个状态构成离散状态空间。设在网络中存储m个n维的记忆模式（mn）： 采用外积法设计网络的权值使这m个模式是网络2N个状态空间中的m个稳定状态。 其中的1/N作为调节比例的常量。 离散Hopfield网络的权值满足如下条件：wij= wji； wii=0，则有： 用矩阵形式表示 ： 5.2.2 离散Hopfield网络运行规则 Hopfield网络按动力学方式运行，其工作过程为状态的演化过程，即从初始状态按“能量” 减小的方向进行演化，直到达到稳定状态，稳定状态即为网络的输出。 Hopfield网络的工作方式主要有两种形式： （1）串行（异步）工作方式：在任一时刻t，只有某一神经元i（随机的或确定的选择）依上式变化，而其他神经元的状态不变。 （2）并行（同步）工作方式：在任一时刻t，部分神经元或全部神经元的状态同时改变。 下面以串行（异步）工作方式说明Hopfied网络的运行步骤： 第一步：对网络进行初始化； 第二步：从网络中随机选取一个神经元i； 第三步：求出该神经元i的输入 第四步：求出该神经元i的输出，此时网络中的其它神经元的输出保持不变； 第五步：判断网络是否达到稳定状态，若达到稳定状态或满足给定条件，则结束；否则转到第二步继续运行。 这里网络的稳定状态定义为：若网络从某一时刻以后，状态不再发生变化，则称网络处于稳定状态。 Hopfield网络存在稳定状态，则要求Hopfield网络模型满足如下条件： 网络为对称连接，即wij= wji； 神经元自身无联接即wii=0。 在满足以上参数条件下，Hopfield网络“能量函数” （Lyapunov函数）的“能量”在网络运行过程中应不断地降低，最后达到稳定的平衡状态。 Hopfield网络的“能量函数” 定义为： Hopfield反馈网络是一个非线性动力学系统 ，Hopfield网络按动力学方式运行，即按“能量函数”减小的方向进行演化，直到达到稳定状态。因而上式所定义的“能量函数”值应单调减小。 为说明这一问题，可考虑网络中的任意神经元i，其能量函数为：