人工神经网络2(第3,4,5章).ppt

第三章 Hopfield网络 § 3、1概述 Hopfield网络是由美国加州工学院的物理学家J.J.Hopfield教授1982年提出的。 J.J.Hopfield用“能量函数”的思想形成了一种新的算法，阐明了神经网络与动力学的关系。并用非线性动力学的方法来研究这种神经网络的稳定性。 1985, J.J.Hopfield 与D.W.Tank一道用“模拟电子线路”实现了Hopfield网络，成功的求解了优化组合难题中最有代表意义的旅行商问题（TSP)。(Traveling Salesman Problem) 一、Hopfield网络与前向网络的不同： 1、严格的说，Hopfield网络的权值不是通过学习得到的，而是根据网络的用途人为“设计”出来的。 2、 Hopfield网络是单层的、全部互连的反馈网络。 3、前向网络不断更新的是“网络的权值”。 Hopfield网络中不断更新的是“网络的状态”。一旦网络的状态不再变化时，网络的状态便是问题的解。 本章介绍了三个方面的内容 1、简单介绍一下H网络稳定性理论。 2、离散时间函数H网络模型，及H网络权值的设计方法。 3、连续时间函数H网络模型，及其在优化组合中的应用。 § 3、2与反馈网络有关的基本知识 一、反馈网络的拓扑结构如下图所示： 其中t=0时刻，初始激活矢量X＝{x 1…xi…xj…...x N} 三、有关HNN网络稳定性的若干定义 1、网络的稳定性 2、网络的吸引性（a）定点吸引子（b）有限环吸引子（c）浑沌 3、吸引子的吸引域 4、HNN利用定点吸引子来解决某些问题。 若设计的网络权矩阵为 § 3、3 DHNN模式自联想记忆的算法 一、单个模式 若要记忆单个模式X,则应设计网络权矩阵 设n→n+1时刻状态变化→能量变化 四、从网络能量函数角度来说明,输入什么结构的多个模式，可以使网络正确联想？ 四、网络稳定性与能量函数及吸引子关系的分析 定理4.证明 定理5.证明 因X是吸引子,由X=sgn(XW) ,Y(t+1)=sgn(Y(t)W)=sgn(-X(t)W)=-sgn(X(t)W)=-X(t+1)=-X(t)=Y(t) [例3－3]要求记忆样本X1,X2,X3,X4伪吸引子, §3、5 CHNN—Hopfield网络电路模型一、CHNN拓扑结构 据柯西霍夫定理：流入节点电流＝流出节点电流 二、稳定性分析 Hopfield为网络建立的能量函数为 §3、6 CHNN用于求解TSP 一、TSP TSP是Traveling salesman problem(旅行商问题)的缩写 命题：有n个城市A,B,C,…他们之间的相互距离分别为dAB，dBC,… 一个推销员从某个城市出发，各个城市均访问一次后，回 到出发地。（形成一条闭合路径）要求：找出一条“最短” 路线。 二、TSP在CHNN中的描述 1、用置换矩阵来描述“旅行路线” 例如： 2、有效“置换阵”的 特点 （1）每行只有一个“1”——确保每个城市访问的次数不超过“1”次。 （2）每列只有一个“1”——确保每次只访问的城市数目不超过“1”个。 （3）全部元素中“1”的点和为n——确保每个城市都访问到。 三、在CHNN中以TSP而建立的能量函数 四、Hopfield求解TSP的意义、存在问题及其影响。 1、 Hopfield改善了计算TSP速度。 2、软件模拟解决TSP,速度改善不大。 3、寄希望于硬件实现。 第四章 按照自适应理论（ART）构成的自组织神经网络 § 4、1 概述 §4、2 竞争学习机制，自稳学习机制 一 、竞争学习的原理 1、各层功能 F1层的作用: 使任何一个输入的观察矢量X=S规格化（都具有模值“1”）。 X(0)=A1…….w0= w1 →A1 X(1)=A2…….w1=w2→A2 X(2)=A3……. w2 = w3→A3； 若此时X(3)=A1则因 w3与A1相距远，误判异类。 若此时X(3)=B1,则因w3 与B1,相距近,误判同类. ——表示一种兴奋激励 ——表示一种抑制激励 ——表示某个神经元受到所有兴奋激励的总和。 ——表示某个神经元受到所有抑制激励的总和。 （1）空心圆 ——是属于本处理单元的。 非线性变换f(.)一般有两种形式 2、F2的工作原理 二、SOFM 1980年，Kohonen模仿大脑皮层结构的这一特点，提出了自组织映射网络