反馈型神经网络.pptxVIP

反馈型神经网络第1页/共97页第2页/共97页1.前馈型与反馈型神经网络的比较 (1) 前馈型神经网络只表达输入输出之间的映射关系，实现非线性映射；反馈型神经网络考虑输入输出之间在时间上的延迟，需要用动态方程来描述，反馈型神经网络是一个非线性动力学系统。(2) 前馈型神经网络的学习训练主要采用BP算法，计算过程和收敛速度比较慢；反馈型神经网络的学习主要采用Hebb规则，一般情况下计算的收敛速度很快，并且它与电子电路有明显的对应关系，使得网络易于用硬件实现。 (3) 前馈型神经网络学习训练的目的是快速收敛，一般用误差函数来判定其收敛程度；反馈型神经网络的学习目的是快速寻找到稳定点，一般用能量函数来判别是否趋于稳定点。 (4)两者都有局部极小问题。 第3页/共97页2.反馈型神经网络模型 一、网络结构 单层全反馈型神经网络结构输入输出关系为：第4页/共97页2.反馈型神经网络模型 二、网络状态 (1)轨迹经过一段时间t (t0)后不会再延伸，而永远停留在X(t0+t)状态，这时称网络收敛到一个稳定点或平衡点。在一个反馈网络中，可能存在有多个稳定点，根据不同的情况，这些稳定点可分为： ① 渐近稳定点Xe ② 不稳定的平衡点Xf ③ 网络的伪稳定点 (2)轨迹为环状，称为极限环。 (3)如果X(t)的轨迹在某个确定的范围内变化，但既不重复又不能停下来，状态变化为无穷多个，而轨迹也不发散到无穷远，这种现象成为混沌（Chaos）. (4)如果X(t)的轨迹随时间一直延伸到无穷远，此时状态发散，而系统的输出也发散。第5页/共97页2.反馈型神经网络模型 三、网络的设计要求 (1)网络的稳定性 (2)网络的稳定点 (3)稳定点的吸引域 第6页/共97页霍普菲尔德（Hopfield）神经网络 美国加州理工学院物理学家J.J.Hopfield教授于1982年提出一种单层反馈神经网络，后来人们将这种反馈网络称作Hopfield 网。 Hopfield网络是单层对称全反馈网络，根据激活函数选取的不同，可分为离散型（DHNN）和连续性（CHNN）两种。DHNN：作用函数为hadlim，主要用于联想记忆。CHNN：作用函数为S型函数，主要用于优化计算。第7页/共97页离散型的 Hopfield神经网络1、网络结构2、网络的工作方式3、网络的稳定性分析4、DHNN网络设计第8页/共97页离散型Hopfield神经网络模型 一、网络结构DHNN的结构是一个单层结构的全反馈网络，有n个节点，W是一个n×n的对称零对角权值矩阵，θ为n维阈值向量。DHNN网中的每个神经元都有相同的功能，其输出称为状态，用 xj 表示。 所有神经元状态的集合就构成反馈网络的状态： X=[x1,x2,…,xn]T 反馈网络的输入就是网络的状态初始值，表示为： X(0)=[x1(0),x2(0),…,xn(0)]T第9页/共97页j=1,2,…,nj=1,2,…,n离散型Hopfield神经网络模型 DHNN网的转移函数常采用符号函数 式中净输入为 对于DHNN网，一般有wii=0 ，wij=wji。 反馈网络稳定时每个神经元的状态都不再改变，此时的稳定状态就是网络的输出，表示为 第10页/共97页离散型Hopfield神经网络模型 二、网络的工作方式(1) 串行（异步）工作方式任一时刻t，只有某一个节点i (随机地或确定性地选择) 变化，而其余n-1个节点的状态保持不变，即：(2) 并行（同步）工作方式任一时刻t，所有的节点或部分节点改变状态，即： 第11页/共97页离散型Hopfield神经网络模型 三、网络的稳定性分析（1）网络的状态 稳定：若网络从一个初态X(t0)出发，经过一个有限时刻t，网络的状态不再发生变化，即： 则称网络是稳定的，这时所有的节点输出不再变化，网络稳定在某一状态。如果网络是稳定的，它可以从任一初态收敛到一个稳态。 第12页/共97页离散型Hopfield神经网络模型 有限环：若网络是不稳定的，由于DHNN网每个节点的状态只有1和-1两种情况，网络不可能出现无限发散的情况，而只可能出现限幅的自持振荡，这种网络称为有限环网络。 混沌：如果网络状态的轨迹在某个确定的范围内变迁，但既不重复也不停止，状态变化为无穷多个，轨迹也不发散到无穷远，这种现象称为混沌。 第13页/共97页离散型Hopfield神经网络模型 网络达到稳定时的状态X，称为网络的吸引子。如果把问题的解编码为网络的吸引子，从初态向吸引子演变的过程便是求解计算的过程。 若把需记忆的样本信息存储于网络不同的吸引子，当输入含有部分记忆信息的样本时，网络的演变过程便是从部分信息寻找全部信息，即联想回忆的过程。 定义：若网络的状态X 满足 X=f(net)=f(WX-T)则