协同神经网络若干关键问题研究汇.pdfVIP

摘要 摘 要 协同神经网络是近年来产生的一种新的神经网络，它与传统的神 经网络相比最突出的优点就是它更接近自然的自组织过程，同时具有 不存在伪状态、联想效果好等优点。国内外学者已对协同神经网络进 行了大量的研究工作，但作为一个全新研究领域，还有不少问题需要 深入研究。本文探讨了协同神经网络的总体理论，对如下关键问题进 行了研究，并得到实验的验证。 1、网络的结构划分 本文指出了协同神经网络符合竞争神经网络的一般原理，它可以 划分为匹配子网和竞争子网。这种划分有利于深入理解和改进协同神 经网络的序参量生成和动力学演化过程，也有利于网络的灵活应用。 2 、序参量的生成 匹配子网的关键是构造序参量的生成方法。序参量代表了输入模 式和原型模式之间的相似程度。传统的伪逆方法可以在内积意义上精 确求解序参量，但是在时间代价上有很大局限性，且新增模式后需重 新计算。本文提出可以在剩余向量最小化的准则下，采用距离法、相 关系数法等方法进行序参量的生成，克服了伪逆法的上述缺点。实验 结果表明这些方法是有效的。 3 、网络的有序化度量 本文提出网络的有序化度量指标——熵。我们以序参量的相对分 布为基础定义了网络的熵，并通过理论分析和实验证明了熵在网络运 行中是衡减的，可以用来精确描述协同神经网络的运行是一个自组织 过程。 4 、快速 Haken 网络 在竞争子网的研究中，本文主要改进经典 Haken 网络的时间性能， 提出快速 Haken 网络。从势函数的分析可以看出，注意参数确定后具 有确定初值的序参量的演化轨迹是完全确定的，并可以通过序参量初 值和注意参数直接确定竞争结果。这样就避免了经典 Haken 网络迭代 所需的大量时间。 本文还讨论了将协同神经网络用于高维问题求解，提出高维竞争 中势函数构造的一般原则。此外，还针对海量数据的模式识别，提出 了基于等级模式的竞争思路。 关键词： 神经网络，协同学，等级神经网络，协同神经网络，Haken， 势函数，序参量，熵 目 录 第一章 序 言 1 1．1 协同学与协同信息处理 1 1．2 协同神经网络的基本思想和研究意义 2 1．3 协同神经网络的研究现状 8 1．4 本文的工作内容 8 1．5 本章小结 9 第二章 协同神经网络的原理与结构分析11 2 ．1 HAKEN 网络的原理11 2 ．2 竞争神经网络的基本原理 19 2 ．3 从竞争网络结构考察协同神经网络 21 2 ．4 协同神经网络的实现原则 25 2 ．5 本章小结 26 第三章 匹配子网 28 3 ．1 序参量的意义和构造 28 3 ．2 序参量的重构 32 3 ．3 匹配层构造新方法的实验 35 3 ．4 协同神经网络的有序化度量 44 3 ．5 本章小结 51 第四章 竞争子网 52 4.1 快速HAKEN 网络 52 4.2 快速HAKEN 网络：势函数分析 58 4.3 快速HAKEN 网络：实验 63 4.4 硬件实现展望 68 4.5 竞争层改进的展望 72 4.6 本章小结 77 第五章 总结和展望 78 参考文献 80 读研期间所发表的论文 83 II 图表目录 图表目录 图1- 1：联想记忆 4 图2- 1：原型模式 15 图2-2 ：伴随模式 16 图2-3 ：代识别模式 17 图2-4 ：演化过程 17 图2-5：Haken 协同神经网络 18 图2-6: 协同神经网络的单层实现 18 图 2-7: