[名校联盟]反馈神经网络.ppt

第五章 反馈神经网络 巷烫羌窃阁袄掣蹋俱繁噶同湿菲富携龚肩抬跪苍崖鬃姑欣侥右妓迟贤闯进反馈神经网络反馈神经网络 5 反馈神经网络 Hopfield网络分为离散型和连续型两种网络模型，分别记作DHNN (Discrete Hopfield Neural Network) 和CHNN (Continues Hopfield Neural Network)，本章重点讨论前一种类型。 根据神经网络运行过程中的信息流向，可分为前馈式和反馈式两种基本类型。前馈网络的输出仅由当前输入和权矩阵决定，而与网络先前的输出状态无关。 美国加州理工学院物理学家J.J.Hopfield教授于1982年提出一种单层反馈神经网络，后来人们将这种反馈网络称作Hopfield 网。 豺础拯技镁崔呐郸翼求帐光悟诗昏悟铬猾姆溜哎载肋浙骆燃忍棕惹恭汲颁反馈神经网络反馈神经网络 5.1.1 网络的结构与工作方式 离散型反馈网络的拓扑结构 5.1离散型Hopfield神经网络 聘纶常炮跨音胚华怔视低烘脏锚茁捻背卑缚热贰责泉雏串得磐屁奏倘潘取反馈神经网络反馈神经网络 (1)网络的状态 DHNN网中的每个神经元都有相同的功能，其输出称为状态，用 xj 表示。 所有神经元状态的集合就构成反馈网络的状态 X=[x1,x2,…,xn]T 反馈网络的输入就是网络的状态初始值，表示为 X(0)=[x1(0),x2(0),…,xn(0)]T 反馈网络在外界输入激发下，从初始状态进入动态演变过程，变化规律为 攻伊色淤椒江魄奠怯嘴汞恢鳃沸瘸隅旷日烘健河奔凳胖酋选麻唯位锑张篆反馈神经网络反馈神经网络 DHNN网的转移函数常采用符号函数 式中净输入为 对于DHNN网，一般有wii=0 ，wij=wji。 反馈网络稳定时每个神经元的状态都不再改变，此时的稳定状态就是网络的输出，表示为 举娃现起更氢待帘累藻爵悔翟消拜丑启找蓑巍烬舷阀珠以航鹿瓮辑母呜姓反馈神经网络反馈神经网络 (2)网络的异步工作方式 (3)网络的同步工作方式 网络的同步工作方式是一种并行方式，所有神经元同时调整状态，即 网络运行时每次只有一个神经元进行状态的调整计算，其它神经元的状态均保持不变，即 鱼刀宾谜仰磕酬力牵次块兰赐钢揭圭斗任凿旺测略遗坑烫淑昧冬获凑琐缚反馈神经网络反馈神经网络 5.1.2.1 网络的稳定性 DHNN网实质上是一个离散的非线性动力学系统。网络从初态X(0)开始，若能经有限次递归后，其状态不再发生变化，即X(t+1)＝X(t)，则称该网络是稳定的。 如果网络是稳定的，它可以从任一初态收敛到一个稳态： 5.1.2 网络的稳定性与吸引子 塑葛氟刁话泪简厘尺音椅喉参阀缺巩卯曳队剧缄戮胀猩僚陇本鲁厩吴围含反馈神经网络反馈神经网络 若网络是不稳定的，由于DHNN网每个节点的状态只有1和-1两种情况，网络不可能出现无限发散的情况，而只可能出现限幅的自持振荡，这种网络称为有限环网络。 如果网络状态的轨迹在某个确定的范围内变迁，但既不重复也不停止，状态变化为无穷多个，轨迹也不发散到无穷远，这种现象称为浑沌。 院繁妆普极譬柄淤淑傻痰床肃诣芜追牧哭惠练仰网兔肚陌薄隶棱盯镁茧陷反馈神经网络反馈神经网络 网络达到稳定时的状态X，称为网络的 吸引子。 如果把吸引子视为问题的解，从初态朝吸引子演变的过程便是求解计算的过程。 若把需记忆的样本信息存储于网络不同的吸引子，当输入含有部分记忆信息的样本时，网络的演变过程便是从部分信息寻找全部信息，即联想回忆的过程。 定义5.1 若网络的状态X 满足 X=f(WX-T) 则称X为网络的吸引子。 5.1.2.2 吸引子与能量函数 淳轻贫迹计侩冒辆奶官升刑这煤冬预旦猩贤一尧耍售浮潜像挪爱毛务庭也反馈神经网络反馈神经网络 定理5.1 对于DHNN 网，若按异步方式调整网络状态，且连接权矩阵W 为对称阵，则对于任意初态，网络都最终收敛到一个吸引子。 定理5.1证明： 定义网络的能量函数为： 令网络的能量改变量为ΔE，状态改变量为ΔX，有 5.1.2.2 吸引子与能量函数 寐逝尽膜塞挖混薪梦她鸡鸣尺蔗烃澎敌沤诸芍疏鹤疗意妓竟爵胰忆尖诧稼反馈神经网络反馈神经网络 将式(5.4)、(5.6)代入(5.5)，则网络能量可进一步展开为 (5.8) 砾玛盒竭熏秸绪尼懈抗然赂涩练您捻淋断鸳岭淬蓝平腮杠宇楼赚玫诞勃鄂反馈神经网络反馈神经网络 (5.9) 上式中可能出现的情况： 情况a ：xj(t)=-1, xj(t+1)=1, 由式(5.7)得Δxj(t)