小世界神经网络中的联想记忆研究-read.docVIP

小世界神经网络中的联想记忆研究 郅晓蓓，彭建华，刘延柱 （上海交通大学工程力学系，上海，200336） 摘要：本文研究了基于小世界结构的神经网络中的联想记忆模型。网络恢复存储模式的行为其实是无序参数为一有限值时的相位变化。越是规则的网络越是难以恢复记忆模式，且容易变成混合状态。另外，在无序参数的值适中时，对于一定数量的存储模式，最终得到恢复的效果可以达到最大。 关键词：小世界网络；联想记忆 ；无序参数 中图分类号：O193 文献标识码：A Research on associative memory based on a small-world neural network Xiaobei Zhi, Jianhua Peng, Yanzhu Liu (Department of Engineering Mechanics, Shanghai Jiao Tong University, 200336 Shanghai, China) Abstract: We study a model of associative memory based on a neural network with small-world structure. The efficacy of the network to retrieve one of the stored patterns exhibits a phase transition at a finite value of the disorder. The more ordered networks are unable to recover the patterns, and are always attracted to mixture states. Besides, for a range of the number of stored patterns, the efficacy has a maximum at an intermediate value of the disorder. Keywords：Small-world network ；associative memory ；disorder parameter 1 小世界神经网络 从上世纪80年代开始，人工神经网络就被用来作为联想记忆的模型进行了大量的计算,这些大多是针对全连接网络和随机连接网络做的仿真计算[1]。对于这些简单模型的分析是很容易的，而复杂的生物神经网络很缺少理论分析。在几年前，兴起了对复杂网络的大量研究。相比规则网络，随机网络和全连接网络，复杂网络与许多生物和社会现象的几何性质更加吻合[2-6]。Watts和Strogatz的小世界模型结合了规则网络和随机网络的性质，发现了线虫类神经系统的拓扑结构就符合这种网络模型。 本文研究了建立在Watts-Strogatz的小世界模型基础上的神经网络，这个模型通过参数修改了规则网络和随机网络，表示网络的复杂程度。在Ref. [7-10]的计算中，采用了一维的规则网格，有个节点，每一个都与左边和右边离它最近的个相邻节点相连，并且有周期的边界条件。以概率将每一个节点右边的连接去掉，重新连接到网络中一个随机选择的节点上，且避免自己连接到自己或者与已有的连接相重合的情形。结果得到一个与参数，，有关的不规则的网络，介于规则网络（）和随机网络（）之间。这种网络像许多真正的复杂网络一样，具有高的集聚程度和短的节点平均距离。可以用连通矩阵来定义，当节点和相连接时，，否则。在传统的Hopfield[11-12]模型中，网络是全连接的，即对于任意的，，，可以用这个矩阵来建立神经元之间的突触连接。 ＊国家自然科学基金资助项目 当时，网络为标准的随机网络，这种网络的连通矩阵中，随机选择一些元素设置 为零。生物神经元从其他神经元中得到输入，同时也对其他神经元产生输出。这种持续的输出转化为二元变量，从而可以计算一些简单的神经元模型，其中每个神经元可以用一个变量来表示，这个变量有两个值，分别表示活动和不活动的神经元，即 （1） 网络中已经存储的模式用来表示，其中…，代表不同的模式，表示模式的数量。这种模式是随机产生的，概率赋值为1/2，。一个对称的权值矩阵和非同步的修正保证了网络演变成一个固定点。如果记忆模式是这些固定点之一，它会被成功的储存下来，成为一个基本记忆。 各种记忆模式互相无关联，因此在大型网络中是正交的，即 （2） 计算中的每一步，神经元都是随机选择的，它的新状态是由局部区域决定的，即