主动联想记忆神经网络模型+.pdfVIP

一 生牺物理学报 第十卷 第三期 1994年 9月 ACTA BJO[PHYSICA SINICA Vo1．10 No．3 Sep．1994 主动联想记忆神经网络模型 + 黄秉 宪 伸酣 剃一， f卜2c＼ 摘 要 在信 息编码能提高联想记忆的存贮能力和脑 内存在主动活动机制的启发 下，提 出一十主动联想 记忆模型．模型包括两个神经网络．其一为输^和输 出网络．另一十为在学 习时期 能 自主产 生*奋 模式的主动 网络。两个网络酌神经元之阀有突触联系。由于自主产生的兴奋模式与输入无芙，并可 能接近于相互正交．因此，奉模型有较高的存棼能力。初步分析和计算机仿真证 明：奉模型确有 比通 常联想记忆模型高的存贮能力，特刺是在输^模式问有高度相芙情况下．最后，对提 出的模型与双 向自联想记忆和光学仝惠存 机制的芙系作 了讨论． 美量词： 主动机制 联想记忆 神经 网络 联想记忆神经网络㈣，具有分布存贮，并行运算 的特点和容错，抗干扰和概括能力。 自从 Hopfield引入能量函数概念并与 自旋玻璃模型建立对应关系后，已成 为神经 网络中的一个基 本模型。然而，通常的联想记忆模型存贮容量有限。虽然有不少工作试 图改进联想存贮器之 能力，但都要求增加相应设备，而且人脑不可能象这些方案那样工作 。我们知道联想记忆神 经网络的存贮容量与输入模式的编码有关，在存贮模式相互正交时，可 以达到最大的存贮容 量 另一方面，当外部信息进入人脑时，它不是单纯被动的接收信息，而是经过脑 内某些主动 机制，对外来信息进行分析，选择和综合等，使信息存贮更为有效。我们在联想记忆模型正 交编码提高存贮容量的事实和脑 内存在主动存贮机制的启发下，提出一个新型的联想记忆神 经阿络模型。在模型中包含一个能主动产生接近正交的必奋模式的神经网络，它与另一神经 网络相互作用，用脑 内易于实现的Hebb律进行学习，完成联想存贮任务。通过初步理论分析 和计算机仿真，证明提出的主动联想记忆神经网络具有 比通常联想记忆模型有较高的存贮容 量 。说明模型确能提高联想记忆模型的存贮能力。最后，对本模型与全息存贮和双 向 自联想 模型 (SAM)的关系作 了讨论 。 模型结果及初步分析 这里提出的主动联想记忆模型由两个相互联接的神经网络所组成。其结构框 图如图 l所 示。其 中A为与外部联系的输入和输 出神经网络 ，由N个神经元所组成 。B为有 自主活动 的 神经网络，由M 个神经元所组成 A 中每一个神经元均与 B中每一神经元有突触联系，这些 突触联系是可塑的，即在信息存贮过程中，突触联系权重是可变的并按Hebb律变化。在学习 阶段，外部信息输入到 A中，使 A中一些神经元 奋，其兴奋模式用N维向量 X 来表示。与 此同时，自主神经网络B 自发产生一个相互正交或近于正交的兴奋模式，用 M 维向量 X 来 ·本项 目得到国家基础研究 攀登计划 支持 第 3期 主动联想记忆神经 网络模型 来表示 按Hebb律，由A到B的联接权重M= 墨墨。我们假定联接权重是对称的。则由B 到A之联接权重为 ^= 鼍。其中 为学习常数，t表示矩阵的转置。也就是说，我们的模 型除有 自主神经网络 自发产生与输入无关的兴奋模式之外，与一般联想记忆模型一样，用简 单 的、局部 的信息完成存贮任务 在读 出 (即信息提取)阶段 ，由A中输入已存兴奋模式 墨 或 其一部分，通过M 可以取出相应的墨，再 由^ 取出K。这是 自联想的情况 如果将输入 与 输出阿络分开为A．与A，，则类似可 以在学习过程 中，建立突触联系，M ．= Z．， = 墨，。 而 由鼍 通过M ．取出 ，再 由 经 ^ 取出K ，这就是异联想的情况。 在模型 中，我们还加入一些在实际神经系统中可能存在的限制作为假设，而这些限制对联 想记忆模型的存贮能力有好处。其中假定在 自主神经网络中，所有必奋模式