人工神经网络简述剖析.ppt

* Hopfield 神经网络 Hopfield网络是神经网络发展历史上的一个重要的里程碑。由美国加州理工学院物理学家J.J.Hopfield教授于1982年提出，是一种单层反馈神经网络。 Hopfield网络是一种由非线性元件构成的反馈系统，其稳定状态的分析比前向神经网络要复杂得多。1984年，Hopfield设计并研制了网络模型的电路，并成功地解决了旅行商(TSP)计算难题(优化问题)。 Hopfield网络分为离散型和连续型两种网络模型，分别记作DHNN (Discrete Hopfield Neural Network) 和CHNN (Continues Hopfield Neural Network) 。 Hello,I’m John Hopfield * 离散型网络模型表示法一 Hopfield 神经网络 * Hopfield 神经网络 离散型网络模型表示法二 * Hopfield 神经网络 * 相关参数说明 任意神经元 与 间的突触权值为 ，神经元之间连接是对称的，神经元自身无连接. 每个神经元都同其他的神经元相连,其输出信号经过其他神经元又有可能反馈给自己. 设Hopfield网络中有n个神经元，其中任意神经元的输入用 表示，输出用 表示，它们都是时间的函数，其中 也称为神经元在时刻 的状态。 Hopfield 神经网络 * 离散型网络 激励函数 Hopfield 神经网络 网络为对称连接，即 ；神经元自 身无连接 * 离散Hopfield网络的运行规则 串行(异步)工作方式 在任—时刻，只有某—神经元 (随机的或确定的选择)依上式变化，而其他神经元的状态不变。 并行(同步)工作方式 在任一时刻，部分神经元或全部神经元的状态同时改变。 Hopfield 神经网络 * 串行(异步)工作方式运行步骤 第一步 对网络进行初始化； 第二步 从网络中随机选取一个神经元i； 第三步 求出该神经元i的输入； 第四步 求出该神经元经激活函数处理后的输出，此时网络中的其他神经元的输出保持不变； 第五步 判断网络是否达到稳定状态，若达到稳定状态或满足给定条件则结束；否则转到第二步继续运行。 Hopfield 神经网络 * 网络的稳定性 DHNN网实质上是一个离散的非线性动力学系统。网络从初态X(0)开始，若能经有限次递归后，其状态不再发生变化，即X(t+1)＝X(t)，则称该网络是稳定的。 如果网络是稳定的，它可以从任一初态收敛到一个稳态： Hopfield 神经网络 * 若网络是不稳定的，由于DHNN网每个节点的状态只有1和-1两种情况，网络不可能出现无限发散的情况，而只可能出现限幅的自持振荡，这种网络称为有限环网络。 如果网络状态的轨迹在某个确定的范围内变迁，但既不重复也不停止，状态变化为无穷多个，轨迹也不发散到无穷远，这种现象称为混沌。 Hopfield 神经网络 * 稳定状态 若网络从某一时刻以后，状态不再发生变化，则称网络处于稳定状态 能量函数在网络运行中不断降低，最后达到稳定 Hopfield 神经网络 * Hopfield网络状态向着能量函数减小的方向演化。由于能量函数有界，在某些情况下系统会趋于稳定状态 。 Hopfield 神经网络 有界 DHNN的能量函数定义为： * 关于DHNN的稳定性有如下的定理： 当网络工作在串行方式下时，若W为对称阵，且其 对角元素非负，则其能量函数单调下降，网络总能 收敛到一个稳定点。 Hopfield 神经网络 * 全并行方式下也有同样的结论. 根据DHNN的运行规则 ，又因为 ，故对任意的神经元k有 。另外能量函数是有 界的，所以总可以收敛到局部极小值。 Hopfield 神经网络 没有自连接 * Hopfield 神经网络 联想记忆 把所需记忆的模式设计成某个确定网络状态的一个 稳定平衡点,则当网络从与记忆模式较靠近的某个初 始状态出发后,网络按hopfield运行规则进行状态更 新，最终到达能量极小点，即记忆模式对应的状态。 由部分信息或失真信息到全部信息或完整信息的联 想记忆过程。 * 用 DHNN实现联想记忆需要考虑一个重要的问题： 怎样按记忆确定网络的参数W和b？ Hopfield 神经网络 Hopfield网络的参数是设计出来的。基本原则是使被记忆的模式样本对应至网络能量函数的极小值。 例如：有m个n维记忆模式，要设计W和b,使得这m个模式正好是网络能量函数的m个极小值。但是目前还没有一种适应于任何形式记忆模式，并且有效的通用设计方法。 * CHNN是在DH