第2章神经网络2-联想记忆1(n).docxVIP

TOC \o 1-5 \h \z 第二章Hopfield 联想记忆神经网络 26 \o Current Document 简单线性联想网络（LAM） 26 \o Current Document Hopfield 联想记忆模型 27 \o Current Document 利用外积和的双极性 Hopfield 网络 28 \o Current Document Hopfield 网络的存储容量 30 \o Current Document Hopfield 网络的收敛性 32 \o Current Document 二次优化问题的 Hopfield 网络解法 37 \o Current Document 双向联想记忆（BAM网络 39 第二章Hopfield 联想记忆神经网络 Hopfield网络的神经单元是全连接的，即每两个单元都通过权值连接在一起。它的学习 过程是一次完成的，而工作过程则是模拟人的联想记忆，通过反复迭代来完成。 Hopfield网 络除了具有联想记忆功能外，还能解决二次优化问题。 简单线性联想网络（LAM） 给定J个输入样本向量顼,…，甘亡Rn及相应的理想输出样本向量 ?,…，n J rm ,组成输 入及理想输出矩阵X =（『…，1）3和Y =（『,??■，仃贝即。所谓线性联想（Linear Associative Memory, LAM）, 即试图构造M x N矩阵W使得 Y =WX （2.1.1） 当然，一般来说，使（2.1.1）成立的W可能并不存在，或者难丁直接求得。 因此，我们希 望能给出尽可能简单（W易丁求得）而乂有效（即线性联想误差 WX -Y尽可能小）的选取权 矩阵W的方法。依据X和Y选定W以后，对Rn中任一向量x,定义其线性联想为 (2.1.2)y =Wx (2.1.2) Y=X的情形，称为自联想;而Y#X时，称为异联想。 选取W的一个简单办法是令 J W=C j（ j）T （2.1.3） j注 其中C是一个适当常数，例如可选C=1或C=j。（2.1.3）的分量形式为 J Wk =CZ WO （2.1.3 , ） j丑 这是一种典型的Heb型学习规则，即输入单元i与输出单元k之间的连接强度（权值） Wik与 相应的输入输出数据的强度成正比。这一点与人的记忆机制有共同之处。权矩阵 W按（2.1.3） 选取时，（2.1.2）称为简单线性联想网络。 特别地，当输入样本向量 彳,…，。标准正交，且C=1时，有 (2.1.4)j =W j, j =1, , J (2.1.4) 即联想回忆对样本集是完美的。 一般地，如果输入向量x按方向接近丁某一输入样本向量 8 (即xK , a是某一非零实数)，而与其它样本输入向量Ek(k,i) “张开角度”较大，则 f’x比Ek X (k #i)大得多，从而输出向量y=Wx按方向接近丁 r。 Hopfield 联想记忆模型 近年来，以非线性反馈动力学为特征的 Hopfield神经网络引起了人们的更大关注。 考虑具有N个处理单元的网络，每个单元与所有单元都连接(全连接)。从单元j到单元 i的连接权记为Wj ,组成N阶权矩阵W。设网络中已经存储了 J个样本模式 j =( /, , N)T, j =1,2, ,J 即根据这些样本模式按某种方式确定了权矩阵 W。典型的Hopfield联想记忆模型可描述为： 给定任一输入模式v° =(V10,…,vNY ,按公式 Vmk1 =g(N Wnk 一如，k=0,1, ; m=1, ,N (2.2.1) n A 反复迭代，直至收敛，得到最后的输出模式 V：作为输入模式V0的联想。在(2.2.1)中， 8=(%，…，％)T是阈值向量。按公式(2.2.1)更新网络状态时有两种方式。一种是并行(同步) 方式，即像(2.2.1)中那样，每次迭代同时更新所有单元的状态。 另一种是申行(异步)方式， 即在第k步迭代时，(可以是顺序地，也可以是随机地)选取某一个下标 n,只改变一个神 经单元的状态，而其余N -1个单元保持不变： N 点1 =g( WmknVnk -电)，k =0,1 川 (222) n d 若g(x)是符号函数(取值为±1或0,1),则称之为双极性网络；若值域是实数域上某一区 问，则称之为连续值网络。另外，还可以考虑类似丁 (2.4.1)的微分方程型Hopfield网络。 (2.2.1)或(2.2.2)都是离散动力系统。为了达到联想记忆的目的，我们对权矩阵 W的第一个 要求是存储模式V,…片应该是(2.2.1)的稳定点，即 N m = g( Wmn nj -Um), j = 1, , J ； m = 1, ,N (2.2.3) n — 其次，当输入模式V0接近丁某一存储模式1 (即已知该存