第2章神经网络2_联想记忆1(n).docVIP

PAGE  PAGE 41  TOC \o 1-3 \h \z \u  HYPERLINK \l _Toc113444655 第二章 Hopfield联想记忆神经网络  PAGEREF _Toc113444655 \h 26  HYPERLINK \l _Toc113444656 2.1 简单线性联想网络(LAM)  PAGEREF _Toc113444656 \h 26  HYPERLINK \l _Toc113444657 2.2 Hopfield联想记忆模型  PAGEREF _Toc113444657 \h 27  HYPERLINK \l _Toc113444658 2.3 利用外积和的双极性Hopfield网络  PAGEREF _Toc113444658 \h 28  HYPERLINK \l _Toc113444659 2.4 Hopfield网络的存储容量  PAGEREF _Toc113444659 \h 30  HYPERLINK \l _Toc113444660 2.5 Hopfield网络的收敛性  PAGEREF _Toc113444660 \h 32  HYPERLINK \l _Toc113444661 2.6 二次优化问题的 Hopfield网络解法  PAGEREF _Toc113444661 \h 36  HYPERLINK \l _Toc113444662 2.7 双向联想记忆（BAM）网络  PAGEREF _Toc113444662 \h 37 第二章 Hopfield联想记忆神经网络 Hopfield网络的神经单元是全连接的，即每两个单元都通过权值连接在一起。它的学习过程是一次完成的，而工作过程则是模拟人的联想记忆，通过反复迭代来完成。Hopfield网络除了具有联想记忆功能外，还能解决二次优化问题。 2.1 简单线性联想网络(LAM) 给定个输入样本向量及相应的理想输出样本向量，组成输入及理想输出矩阵和。所谓线性联想(Linear Associative Memory, LAM), 即试图构造矩阵使得 (2.1.1) 当然，一般来说，使(2.1.1)成立的可能并不存在，或者难于直接求得。 因此，我们希望能给出尽可能简单（易于求得）而又有效（即线性联想误差尽可能小）的选取权矩阵的方法。依据和选定以后，对中任一向量，定义其线性联想为 (2.1.2) 的情形，称为自联想；而时，称为异联想。 选取的一个简单办法是令 (2.1.3) 其中是一个适当常数，例如可选或。(2.1.3)的分量形式为 (2.1.3ˊ) 这是一种典型的Heb型学习规则，即输入单元与输出单元之间的连接强度（权值）与相应的输入输出数据的强度成正比。这一点与人的记忆机制有共同之处。权矩阵按(2.1.3)选取时，(2.1.2)称为简单线性联想网络。 特别地，当输入样本向量标准正交，且时，有 (2.1.4) 即联想回忆对样本集是完美的。 一般地，如果输入向量按方向接近于某一输入样本向量（即，是某一非零实数），而与其它样本输入向量“张开角度”较大，则 比大得多，从而输出向量按方向接近于。 2.2 Hopfield联想记忆模型 近年来，以非线性反馈动力学为特征的Hopfield神经网络引起了人们的更大关注。 考虑具有个处理单元的网络，每个单元与所有单元都连接（全连接）。从单元到单元的连接权记为，组成阶权矩阵。设网络中已经存储了个样本模式 即根据这些样本模式按某种方式确定了权矩阵。典型的Hopfield联想记忆模型可描述为：给定任一输入模式，按公式 (2.2.1) 反复迭代，直至收敛，得到最后的输出模式，作为输入模式的联想。在(2.2.1)中，是阈值向量。按公式(2.2.1)更新网络状态时有两种方式。一种是并行（同步）方式，即像(2.2.1)中那样，每次迭代同时更新所有单元的状态。 另一种是串行（异步）方式，即在第步迭代时，（可以是顺序地，也可以是随机地）选取某一个下标 ，只改变一个神经单元的状态，而其余个单元保持不变： (2.2.2) 若是符号函数