第三讲人工神经网络(Hopfield).pptVIP

第5节 循环网络 第三讲 人工神经网络 Hopfield网络 Hopfield网络 基本概念 特点 训练方法 5.1 Hopfield网络的基本概念 美国加州理工学院物理学家J.J.Hopfield教授于1982年提出； Hopfield网络可用作联想存储器的互连网络； Hopfield神经网络模型是一种循环神经网络，从输出到输入有反馈连接； 有离散型和连续型两种。 5.1 Hopfield网络的基本概念 网络结构 5.2 离散型Hopfield神经网络 Hopfield最早提出的一种反馈网络是二值神经网络； 采用的神经元是二值神经元； 神经元的输出只取1和0这两个值，分别表示神经元处于激活和抑制状态。 一、网络的状态 DHNN网中的每个神经元都有相同的功能，其输出称为状态，用 xj 表示。 所有神经元状态的集合就构成反馈网络的状态 X=[x1,x2,…,xn]T 反馈网络的输入就是网络的状态初始值，表示为 X(0)=[x1(0),x2(0),…,xn(0)]T 反馈网络在外界输入激发下，从初始状态进入动态演变过程，变化规律为 5.2 离散型Hopfield神经网络 5.2 离散型Hopfield神经网络 三个神经元组成的离散Hopfield神经网络 5.2 离散型Hopfield神经网络 且有： Yi=1,当Ui≥θi 时 Yi=0,当Uiθi 时 对于一个离散的Hopfield网络，其网络状态是输出神经元信息的集合。对于一个输出层是n个神经元的网络，则其t时刻的状态为一个n维向量： Y(t)=[Y1(t),Y2(t),...,Yn(t)]T 故而，网络状态有2n个状态； 对于二值神经元，有： 输入 输出 5.2 离散型Hopfield神经网络 三神经元输出层的网络状态 推论：对于n个神经元的输出层，它有2n个网络状态，也和一个n维超立方体的顶角相对应。 5.2 离散型Hopfield神经网络 如果Hopfield网络是一个稳定网络，那么在网络的输入端加入一个输入向量，则网络的状态会产生变化，也就是从超立方体的一个顶角转移向另一个顶角，并且最终稳定于一个特定的顶角。 5.2 离散型Hopfield神经网络 一船而言，w和θ可以确定一个唯一的离散Hopfield网络。 对于一个由n个神经元组成的离散Hopfield网络，则有n*n权系数矩阵w: 5.2 离散型Hopfield神经网络 考虑离散Hopfield网络的一船节点状态；用Yj(t)表示第j个神经元，即节点j在时刻t的状态，则节点的下一个时刻(t+1)的状态可以求出如下： 5.2 离散型Hopfield神经网络 当Wij在i＝j时等于0，则说明一个神经元的输出并不会反馈到它自己的输入；这时，离散的HopfieId网络称为无自反馈网络。 当Wij在i＝j时不等于0，则说明—个神经元的输出会反馈到它自己的输入；这时，离散的Hopfield网络称为有自反馈的网络。 (a)网络的异步工作方式 (b)网络的同步工作方式 网络的同步工作方式是一种并行方式，所有神经元同时调整状态，即 网络运行时每次只有一个神经元 j 进行状态的调整计算，其它神经元的状态均保持不变，即 5.2 离散型Hopfield神经网络 二、网络的工作方式 三、网络的稳定性 DHNN网实质上是一个离散的非线性动力学系统。网络从初态X(0)开始，若能经有限次递归后，其状态不再发生变化，即X(t+1)＝X(t)，则称该网络是稳定的。 如果网络是稳定的，它可以从任一初态收敛到一个稳态： 5.2 离散型Hopfield神经网络 三、网络的稳定性 5.2 离散型Hopfield神经网络 则Hopfield网络是稳定的。 应该指出：这只是Hopfield网络稳定的充分条件．而不是必要条件。 推论：无自反馈的权系数对称Hopfield网络是稳定的网络。 如果Hopfield网络的权系数矩阵w是一个对称矩阵，并且，对角线元素为0．则这个网络是稳定的。即是说在权系数矩阵W中，如果： 若网络是不稳定的，由于DHNN网每个节点的状态只有1和-1两种情况，网络不可能出现无限发散的情况，而只可能出现限幅的自持振荡，这种网络称为有限环网络。 如果网络状态的轨迹在某个确定的范围内变迁，但既不重复也不停止，状态变化为无穷多个，轨迹也不发散到无穷远，这种现象称为混沌。 5.2 离散型Hopfield神经网络 若网络是不稳定的，由于DHNN网每个节点的状态只有1和-1两种情况，网络不可能出现无限发散的情况，而只可能出现限幅的自持振荡，这种网络称为有限环网络。 如果网络状态的轨迹在某个