第2章神经网络2联想记忆1n.docVIP

第二章 Hopfield联想记忆神经网络 26 2.1 简单线性联想网络(LAM) 26 2.2 Hopfield联想记忆模型 27 2.3 利用外积和的双极性Hopfield网络 28 2.4 Hopfield网络的存储容量 30 2.5 Hopfield网络的收敛性 32 2.6 二次优化问题的 Hopfield网络解法 36 2.7 双向联想记忆（BAM）网络 37 第二章 Hopfield联想记忆神经网络 Hopfield网络的神经单元是全连接的，即每两个单元都通过权值连接在一起。它的学习过程是一次完成的，而工作过程则是模拟人的联想记忆，通过反复迭代来完成。Hopfield网络除了具有联想记忆功能外，还能解决二次优化问题。 2.1 简单线性联想网络(LAM) 个输入样本向量及相应的理想输出样本向量，组成输入及理想输出矩阵和。所谓线性联想(Linear Associative Memory, LAM), 即试图构造矩阵使得 (2.1.1) 当然，一般来说，使(2.1.1)成立的可能并不存在，或者难于直接求得。 因此，我们希望能给出尽可能简单（易于求得）而又有效（即线性联想误差尽可能小）的选取权矩阵的方法。依据和选定以后，对中任一向量，定义其线性联想为 (2.1.2) 的情形，称为自联想；而时，称为异联想。 选取的一个简单办法是令 (2.1.3) 其中是一个适当常数，例如可选或。(2.1.3)的分量形式为 (2.1.3ˊ) 这是一种典型的Heb型学习规则，即输入单元与输出单元之间的连接强度（权值）与相应的输入输出数据的强度成正比。这一点与人的记忆机制有共同之处。权矩阵按(2.1.3)选取时，(2.1.2)称为简单线性联想网络。 特别地，当输入样本向量标准正交，且时，有 (2.1.4) 即联想回忆对样本集是完美的。 一般地，如果输入向量按方向接近于某一输入样本向量（即，是某一非零实数），而与其它样本输入向量“张开角度”较大，则 比大得多，从而输出向量按方向接近于。 2.2 Hopfield联想记忆模型 个处理单元的网络，每个单元与所有单元都连接（全连接）。从单元到单元的连接权记为，组成阶权矩阵。设网络中已经存储了个样本模式 即根据这些样本模式按某种方式确定了权矩阵。典型的Hopfield联想记忆模型可描述为：给定任一输入模式，按公式 (2.2.1) 反复迭代，直至收敛，得到最后的输出模式，作为输入模式的联想。在(2.2.1)中，是阈值向量。按公式(2.2.1)更新网络状态时有两种方式。一种是并行（同步）方式，即像(2.2.1)中那样，每次迭代同时更新所有单元的状态。 另一种是串行（异步）方式，即在第步迭代时，（可以是顺序地，也可以是随机地）选取某一个下标 ，只改变一个神经单元的状态，而其余个单元保持不变： (2.2.2) 若是符号函数（取值为或），则称之为双极性网络；若值域是实数域上某一区间，则称之为连续值网络。另外，还可以考虑类似于(2.4.1)的微分方程型Hopfield网络。 (2.2.1)或(2.2.2)都是离散动力系统。为了达到联想记忆的目的，我们对权矩阵的第一个要求是存储模式应该是(2.2.1)的稳定点，即 (2.2.3) 其次，当输入模式接近于某一存储模式（即已知该存储模式的部分或模糊的信息）时，由(2.2.1)或（2.2.2）应收敛于（即恢复或联想出该模式的全部信息）。最后，的选取还应该使上述收敛过程尽可能地快。图2.1给出了具有三个稳定存储模式的联想记忆效果示意图。 图2.1 有三个稳定存储模式的联想记忆 2.3 利用外积和的双极性Hopfield网络 （双极性），即(2.2.1)中的取为符号函数 (2.3.1) 对向量，我们记。选取权矩阵的最简单的办法是利用待存储模式的外积和（参见(2.1.3)）： (2.3.2) 相应的分量形式为 (2.3.3) 这时，迭代公式(2.2.1)可以用矩阵记号写成：