计算智能第3章-神经计算.pptVIP

* * * * * * 期望设计出稳定的DHN网络 * * * * * * * * * * * * * * * * * * 联想记忆的工作过程 联想记忆的工作过程分为两个阶段一是记忆阶段，也称为存储阶段或学习阶段；二是联想阶段，也称为恢复阶段或回忆阶段。 （1）记忆阶段 在记忆阶段就是通过设计或学习网络的权值，使网络具有若干个稳定的平衡状态，这些稳定的平衡状态也称为吸引子（Attractor）。 吸引子有一定的吸引域（ Basin of Attraction）。 吸引子的吸引域就是能够稳定该吸引子的所有初始状态的集合，吸引域的大小用吸引半径来描述，吸引半径可定义为：吸引域中所含所有状态之间的最大距离或吸引子所能吸引状态的最大距离。 吸引子也就是联想记忆网络能量函数的极值点。记忆过程就是将要记忆和存储的模式设计或训练成网络吸引子的过程。 图5-5 吸引子与吸引域示意图 （2）联想阶段 联想过程就是给定输入模式，联想记忆网络通过动力学的演化过程达到稳定状态，即收敛到吸引子，回忆起已存储模式的过程。 吸引子的数量代表着AM的记忆容量（Memory Capacity）或存储容量（Storage Capacity），存储容量就是在一定的联想出错概率容限下，网络中存储互不干扰样本的最大数目。 存储容量与联想记忆的允许误差、网络结构、学习方式以及网络的设计参数有关。 AM的吸引子越多，则网络的存储容量就越大。 吸引子具有一定的吸引域，吸引域是衡量网络容错性的指标，吸引域越大网络的容错性能越好，或者说网络的联想能力就越强。 Hopfield联想记忆网络 设现在欲存储m个n维的记忆模式，那么就要设计网络的权值，使这m个模式正好是能量函数的m个极小值，即m个稳定状态。 常用的权值设计或学习算法有：外积法、投影学习法、伪逆法，以及特征结构法等。 离散Hopfield网络的存储记忆过程（运行步骤） 设网络有n个神经元，即它可表示n维的向量。现有m个需存储的记忆模式，其中第k个模式表示为： 采用外积法设计网络的权值 根据Hebb规则，得权值训练公式： 其中，N=n为网络单元数，1/N表示调节比例系数。 表示为矩阵形式： 例： 设有两个记忆模式 按权值调整公式设计其网络权值，得 权值矩阵W 满足对称及对角线元素非负等条件，所以有稳定点。网络共有三个节点，所以有23=8个状态(阈值取为0)。其中只有两个状态，即（1，-1，1）和（-1，1，-1）是稳定状态，因为它满足： 将(1,-1,1)作为输入，代入输入计算公式 则网络的输出如下，可见网络记住了该状态 同理，将(-1,1,-1)作为输入，代入输入计算公式，得： 则网络的输出如下，可见网络也记住了该状态 其余状态都会收敛到与之邻近的稳定状态上，如下图所示。 稳定状态 稳定状态 这种网络有一定的纠错能力： 当测试向量是（-1，-1，1），（1，1，1）和（1，-1，-1）时，它们都会收敛到稳态（1， -1，1）上。 当测试向量是（1，1，-1），（-1，-1，-1）和（-1，1，1）时，则收敛到稳态（-1，1，-1）上。 上述模式的三个单元的反馈网络 几何意义：如何在n+1空间y（x0,x1,x2,…xn)中构造一个超平面Hp=…=0 将空间中y=0 和 y=1的模式分开 超平面Hp与联结强度向量W正交 几何意义：如何在n+1空间y（x0,x1,x2,…xn)中构造一个超平面Hp=…=0 将空间中y=0 和 y=1的模式分开 超平面Hp与联结强度向量W正交 * * * * * * * * 当动量因子的取值为零时，权值的变化仅是根据梯度下降法产生的。 附加动量法的实质是将最后一次权值变化的影响通过一个动量因子来传递。 当动量因子的取值为1时，新的权值变化为最后一次权值的变化，而依梯度法产生的变化部分则被忽略掉了。 为此当增加了动量项后，促使权值的调节向着误差曲面底部的平均方向变化。可在一定程度上解决局部极小问题，但收敛速度仍然很慢。 * 特别强调它的稳定性问题。 1938年起，将动力学应用于生物学中。先要用一个数学模型描述非线性的动力学，最适合的模型就是状态空间模型。 * * * * * 5）连接权系数更新 iterate=iterate+1;继续迭代计算直至满足终止条件为止。 * BP算法的特点 弱点： 训练速度非常慢 局部极小点的逃离问题 算法不一定收敛 优点： 广泛的适应性 有效性 3.3.3 BP算法的改进 1）利用动量法改进BP算法 将上一次权值调整量的一部分迭加到按本次误差计算所得的权值调整量 2）自适应调整学习速率η 在学习收敛的情况下，增大 ，以缩短学习时间；当 偏大致使不能收敛时，要及时减小