反馈神经网络.pptVIP

北京工商大学信息工程学院韩力群制作北京工商大学信息工程学院反馈神经网络第1页，共41页，星期日，2025年，2月5日根据神经网络运行过程中的信息流向，可分为前馈式和反馈式两种基本类型。前馈网络的输出仅由当前输入和权矩阵决定，而与网络先前的输出状态无关。美国加州理工学院物理学家J.J.Hopfield教授于1982年提出一种单层反馈神经网络，后来人们将这种反馈网络称作Hopfield网。在其中引入了能量函数概念，这对ANN研究具有重大意义，使得网络运行稳定性判断有了可靠依据。1985年，hopfield与D.W.Tank合作用模拟电子线路实现了Hopfield网络，成功求解了优化组合中著名的TSP问题，对NN发展贡献巨大。第2页，共41页，星期日，2025年，2月5日ANN学习方法有3种：有导师、无导师和死记硬背式。前两种分别在第3章的BP网络和第4章的SOM网络涉及，最后一种方法的网络权值不是经过反复学习获得，而是一旦确定就不再改变，Hopfield网络就采用该种学习方法。网络中各神经元状态不断变化，直到稳定时的状态就是问题的解。Hopfield网络分为离散型和连续型两种网络模型，分别记作DHNN(DiscreteHopfieldNeuralNetwork)和CHNN(ContinuesHopfieldNeuralNetwork)，本书主要讨论前一种类型。第3页，共41页，星期日，2025年，2月5日6.1.1网络的结构与工作方式单层全反馈网络：离散型反馈网络的拓扑结构6.1离散型Hopfield神经网络第4页，共41页，星期日，2025年，2月5日有n个神经元，每个神经元输出均通过连接权wij反馈至所有神经元xj作为输入。即每个神经元都接受所有神经元输出反馈回来的信息，使得各神经元相互制约。每个神经元都有一个阈值Tj，对噪声加以控制。因此DHNN网可以简记为N=（W，T）。第5页，共41页，星期日，2025年，2月5日(1)网络的状态DHNN网中的每个神经元都有相同的功能，其输出称为状态，用xj表示。j=1,2,…,n所有神经元状态的集合就构成反馈网络的状态X=[x1,x2,…,xn]T反馈网络的输入就是网络的状态初始值，表示为X(0)=[x1(0),x2(0),…,xn(0)]T反馈网络在外界输入激发下，从初始状态进入动态演变过程，变化规律为f为传递函数第6页，共41页，星期日，2025年，2月5日j=1,2,…,n(6.1)DHNN网的转移函数常采用符号函数式中净输入为j=1,2,…,n(6.2)对于DHNN网，一般有wii=0，wij=wji。反馈网络稳定时每个神经元的状态都不再改变，此时的稳定状态就是网络的输出，表示为第7页，共41页，星期日，2025年，2月5日(2)网络的异步工作方式(6.3)(3)网络的同步工作方式网络的同步工作方式是一种并行方式，所有神经元同时调整状态，即j=1,2,…,n(6.4)网络运行时每次只有一个神经元j进行状态的调整计算，其它神经元的状态均保持不变，即第8页，共41页，星期日，2025年，2月5日一、网络的稳定性DHNN网实质上是一个离散的非线性动力学系统。网络从初态X(0)开始，若能经有限次递归后，其状态不再发生变化，即X(t+1)＝X(t)，则称该网络是稳定的。如果网络是稳定的，它可以从任一初态收敛到一个稳态：6.1.2网络的稳定性与吸引子反馈网络作为非线性动力学系统，具有丰富的动态特性，如稳定性、有限环状态和混沌状态等。第9页，共41页，星期日，2025年，2月5日若网络是不稳定的，由于DHNN网每个节点的状态只有1和-1两种情况，网络不可能出现无限发散的情况，而只可能出现限幅的自持振荡，这种网络称为有限环网络。如果网络状态的轨迹在某个确定的范围内变迁，但既不重复也不停止，状态变化为无穷多个，轨迹也不发散到无穷远，这种现象称为混沌。第10页，共41页，星期日，2025年，2月5日网络达到稳定时的状态X，称为网络的吸引子。如果把问题的解编码为网络的吸引子，从初态向吸引子演变的过程便是求解计算的过程。若把需记忆的样本信息存储于网络不同的吸引子，当输入含有部分记忆信息的样本时，网络的演变过程便是从部分信息寻找全部信息，即联想回忆的过程。定义6.1若网络的状态X满足