神经网络第四章.pptxVIP

神经网络第四章第1页/共173页第2页/共173页4.1 Hopfield神经网络 美国加州工学院物理学家J.J.Hopfleld于1982年 和1984年分别提出了两种神经网络模型，简称 HNN。 离散的随机模型（离散Hopfleld网络） 确定论模型（连续Hopfleld网络）第3页/共173页 HNN模型是目前得到了最充分研究和广泛应用的反馈式神经元网络模型。Hopfield将“能量函数”(也称李雅普诺夫函数)的概念引入分析一类人工神经元网络的稳定过程，使网络运行的稳定性判断有了可靠和简便的依据。开辟了人工神经网络应用于联想记忆和优化计算等领域的范围。 由于Hopfield网络与电子电路存在明显的对应关系，所以使得这种网络易于理解和便于实现。显然，为神经网络计算机的研究奠定了基础。第4页/共173页Hopfield网络的基本思想Hopfield网络作为一种全连接型神经网络．曾经在人工神经网络研究发展历程中起过唤起希望、开辟研究新途径的作用。它用与阶层型神经网络不同的结构特征和学习方法，模拟生物神经网络的记忆机理，获得了令人满意的结果。第5页/共173页 1985年Hopfield和D．W．Tank用这种网络模型成功地求解了优化组合问题中的具有典型意义的旅行商(TSP)问题，在所有随机选择的路径中找到了其中十万分之一的最优路径，这在当时是神经网络研究工作中所取得的突破性进展。 Hopfield是从物理学磁场理论中受到启发，结合生物神经网络的思维机理而提出这一网络模型的。第6页/共173页 磁场也是—种具有记忆功能的物质，人们很早就利用磁场的记忆功能创造出许多很有价值的产品，如目前广泛使用的计算机磁盘。 由物理学知识可知: 在磁性材料中游动着大量的磁旋，正是由于这些带有方向的磁旋的相互作用，才产生了磁场本身所具有的各种性质。在永久磁铁中，由于所有的磁旋都朝向一个方向，构成了磁铁的N极和S极的两极特性。第7页/共173页Hopfield网络的基本思想:用人工神经元模拟的磁旋，用神经元之间的连接 权模拟磁场中磁场中磁旋的相互作用；用各神经元的“激活”和“抑制”两种状态，模拟磁场中磁旋的上、下两个方向，构成一个具有记忆功能的神经网络系统；引用物理学中有关能量的概念，用“计算能量函数”(ComPutational Energy Function)来评价和指导整个网络的记忆功能。 第8页/共173页磁场与神经网络的对照示意图第9页/共173页Hopfield网络的结构和算法 离散型Hopfield网络结构如图。第10页/共173页第11页/共173页 Hopfield为一层结构的反馈网络，能处理双极型离散数据,即输入 及二进制数据 当网络经过训练后，可以认为网络处于等待工作状态。第12页/共173页对网络给定初始输入x时，网络就处于特定的初始状态，由此初始状态开始运行，可以得到网络输出即网络的下一状态；然后，这个输出状态通过反馈回送到网络的输入端，作为网络下一阶段运行的输入信号，而这个输入信号可能与初始输入信号不同，由这个新的输入又可得到下步的输出，这个输出也可能与上一步的输出不同； 第13页/共173页如此下去，网络的整个运行过程就是上述反馈过程的重复。如果网络是稳定的，那么，随着许多次反馈运行，网络状态的变化减少，直到后来不再变化．达到稳态。这时，在网络的输出端可以得到稳定的输出。第14页/共173页这是一个只有四个神经元的离散型Hopfield网络。第15页/共173页 其中每个神经元只能取“1”，或“0”两个状态。设网络有n个神经元，则各个神经元的状态可用向量U表示： U＝(u1，u2，…,un) 其中，ui＝1或0 (i＝1，2，…．n) Hopfield网络的各个神经元都是相互连接的，即每一个神经元都将自己的输出通过连接权传送给所有其它神经元，同时每个神经元又都接收所有其它神经元传递过来的信息。第16页/共173页 特别值得注意的是，由于Hopfield网络的这种结构特征，对于每一个神经元来说、自己输出的信号经过其它神经元又反馈回自己，所以也可以认为Hopfield网络是一种反馈型神经网络。 其它形式的Hopfield网络结构：第17页/共173页第18页/共173页 对于Hopfield网络已有定理证明： 当网络满足以下 两个条件时，Hopfield学习算法总是收敛的。(1) 网络的连接权矩阵无自连接且具有对称性，即 这一假设条件虽然不符合生物神经网络的实际情况(生物神经元之间连接强度通常是不对称的)。但是却与磁场中各磁旋的相互作用情况相一致。第19页/共173页（2）网络中各神经元以非同步或串行方式，依据 运行规则改变其状态，即各神经元按随机选 取方式，依据运行规则改变状态；且当某个 神经元改变状态时．其它所