上海交通大学人工神经网课程第四讲.pptVIP

;人工神经网络及其应用;第四讲 反馈网络;§4.1 绪论(前馈网络与反馈网络);§4.1 绪论(前馈网络与反馈网络);§4.1 绪论(前馈网络与反馈网络);§4.1 绪论(前馈网络与反馈网络);§4.1 绪论(前馈网络与反馈网络);§4.２ 离散型Hopfield神经网络;4.２.1 与状态空间中有关的状态变迁基本概念 4.２.１.１网络的稳定性 从一初态 开始，经有限时间ｔ后，网络的状态满足 则网络是稳定的。 4.２.１.2 网络的吸引子　 如果在时刻t以及以后，网络是稳定的，则网络的状态 称为稳定的吸引子(稳定的平衡状态或者网络能量函数的极值点)，否则为非稳定的吸引子。 ;;4.２.１.4 网络的收敛时间　 从一初始状态进入稳定点状态所需要的时间。 4.２.１.5 能量函数 Hopfield网络引入的一个重要概念，使网络的运行稳定性判断有了可靠而简便的依据.(给出了网络稳定性的判据 ) Hopf ield 根据自旋材料中的一种Hamilton 能量， 成功地构造出一种能量函数用于判别Hopf ield 神经网络的稳定性，并通过能量函数研究优化问题, 获得了很大成就。. 随着网络的工作方式不同，该能量函数定义的形式有所不同。 网络从某一初始态出发，经过Hopfield网络的多次演变，使能量函数达到局部极小点，这些极小点就是网络的稳定点或吸引子。 ;能量函数的变化曲线: 曲线含有全局最小点和局部最小点。将这些极值点作为记忆状态，可将Hopfield 网络用于联想记忆；将能量函数作为代价函数，全局最小点看成最优解，则Hopfield网络可用于最优化计算。 　　;网络达到稳定,能量函数满足条件: (1)能量函数沿着网络的解是下降的; (2)能量函数的导数为零的点是网络的平衡态; (3)能量函数有下界.(必然会趋于稳定状态) 　　人们普遍认为:只要能量函数沿着网络的解是下降的,能量函数的导数为零的点是网络的平衡态,能量函数有下界,则网络是稳定的且网络的平衡态为能量函数的极小点 　　从网络的平衡态与能量函数的极小点的关系来看，网络稳定不能保证网络的平衡态就是能量函数的极小点。能量函数的情况下网络稳定的充要条件是网络的解有界。 ;4.２.2 离散Hopfield网络拓扑结构 ①一种循环神经网络，由相同神经元组成的单层网络。 ②从输出到输入有反馈连接。 ③在输入的激励下，要不断产生状态变化。 对于稳定的网络，有输入时，产生Hopfield输出，该输出反馈到输入并产生新的输出，此反馈过程一直进行，此反馈与迭代计算过程所产生的变化越来越小，一旦达到稳定平衡状态， Hopfield就输出一个稳定的恒定值。因此对Hopfield网络的关键是确定稳定条件下的连接权。 反馈网络有稳定的，也有不稳定的，对Hopfield网络存在如何判定为稳定网络的问题，如何确定判别依据的问题。 ;; Hopfield网络为单层网络，每个单元既是输入也是输出，n个单元其激励函数或转移特性函数分别为 ，对应阈值 。 二进制的离散Hopfield网络： 阈值 输入 输出 网络在t时刻状态; 对称的Hopfield网络连接权 注意：网络的当前输出即为下次输入，这样循环迭代直到达到稳定状态。 从离散的Hopfield网络可以看出，多输入、含有阈值的二值非线性动力学系统。 在动力学系统中，平衡状态可认为是系统运动过程中，能量函数不断减少，最终处于最小值。;4.２.3 离散Hopfield的工作方式 ①串行（异步）方式 时刻t，仅一个神经元j的状态更新，其余n-1个神经元状态保持不变。 ②并行（同步）方式 任意时刻t，所有的神经元的状态都发生了变化。;4.２.4 离散Hopfield的性能及有关定理 4.２.4.1 衡量Hopfield网络性能的重要指标 ①稳定性 ②吸引域半径 ③收敛时间 这些指标与网络的工作方式、连接权矩阵和阈值都有关。 4.２.4.2 Hopfield网络的几个重要定理 ①如果连接权矩阵为对称阵，且对角线元素为非负（包括为零的情况），则这样的网络在异步方式下，一定收敛于某个稳定态。 ;;; ②如果连接权矩阵为对称阵，网络在同步工作方式下一定收敛于一个稳定态或周期为2的极限环。 ③稳定分析中，同步工作方式的神经元网络可等价于另一异步工作方式的神经元