神经网络实用教程.ppt

* * 2.9.1离散Hopfield 神经网络 稳定状态 若网络从某一时刻以后，状态不再发生变化，则称网络处于稳定状态 网络为对称连接，即；神经元自身无连接 能量函数在网络运行中不断降低，最后达到稳定 * * 2.9.1离散Hopfield 神经网络 网络中神经元能量函数变化量 Hopfield网络状态向着能量函数减小的方向演化。由于能量函数有界，所以系统必然会趋于稳定状态 。 * * 2.9.2 连续Hopfield 神经网络 网络模型 * * 2.9.2 连续Hopfield 神经网络 稳定性分析 将下式代入得： 　　　　 　　　 因为 连续Hopfield网络模型是稳定的 * * 2.9.2 连续Hopfield 神经网络 连续Hopfield网络模型的主要特性 1)连续Hopfield网络的神经元作为I/O转换，其传输特性具有Sigmoid特性； 2)具有时空整合作用； 3)在神经元之间存在着大量的兴奋性和抑制性连接，这种联接主要是通过反馈来实现。 4)具有既代表产生动作电位的神经元，又有代表按渐进方式工作的神经元，即保留了动态和非线性两个最重要的计算特性。 Hopfield神经网络设计的目标就是使得网络存储一些特定的平衡点，当给定网络一个初始条件时，网络最后会在这样的点上停下来 * * 2.9.3 Hopfield 神经网络的MATLAB实现 函 数 名 功 能 satlin( ) 饱和线性传递函数 satlins( ) 对称饱和线性传递函数 newhop( ) 生成一个Hopfield回归网络 nnt2hop( ) 更新NNT 2.0 Hopfield回归网络 MATLAB中Hopfield网络的重要函数和功能 * * 2.9.3 Hopfield 神经网络的MATLAB实现 MATLAB中与Hopfield网络有关的重要函数和功能 newhop( ) 功能 生成一个Hopfield回归网络。 格式 net = newhop(T) 说明 net为生成的神经网络，具有在T中的向量上稳定的点；T是具有Q个目标向量的R*Q矩阵（元素必须为-1或1）。Hopfield神经网络经常被应用于模式的联想记忆中。Hopfield神经网络仅有一层，其激活函数用satlins( )函数，层中的神经元有来自它自身的连接权和阈值。 * * 2.9.3 Hopfield 神经网络的MATLAB实现 MATLAB中与Hopfield网络有关的重要函数和功能 satlins( ) 功能 对称饱和线性传递函数 格式 A = satlins(N) A输出向量矩阵；N是由网络的输入向量组成的S*Q矩阵，返回的矩阵A与N的维数大小一致，A的元素取值位于区间[0，1]内。当N中的元素介于-1和1之间时，其输出等于输入；当输入值小于-1时返回-1；当输入值大于1时返回1。 * * 2.9.3 Hopfield 神经网络的MATLAB实现 例2-8 设印刷体数字由10 10点阵构成，就是将数字分成很多小方块，每个方块就对应数字的一部分，构成数字本部分的方块用1表示，空白处用-1表示。试设计一个Hopfield网络，能够正确识别印刷体的数字。 由点阵构成的数字1 由点阵构成的数字2 * * 例2-8程序 * * 小结 概述 离散Hopfield神经网络及工作过程 连续Hopfield神经网络 稳定性分析 Hopfield神经网络的MATLAB实现 实例分析 2.10? Boltzmann神经网络模型与学习算法 概述 Ackley、Hinton和Sejnowski等人以模拟退火思想为基础，对Hopfield模型引入了随机机制，提出了Boltzmann机。 Geoffrey Hinton David H. Ackley Richard Szeliski 概述 Boltzmann机是第一个受统计力学启发的多层学习机，它是一类典型的随机神经网络，属于反馈神经网络类型 其命名来源于Boltzmann在统计热力学中的早期工作和网络本身的动态分布行为 Boltzmann机结合BP网络和Hopfield网络在网络结构、学习算法和动态运行机制的优点 2.10.1 Boltzmann机的网络结构 Boltzmann机由输入部、输出部和中间部构成 2.10.1 Boltzmann机的网络结构 输入部和输出部神经元统称为显见神经元，是网络与外部环境进行信息交换的媒介，中间部的神经元称为隐见神经元，它们通过显见神经元与外界进行信息交换 每一对神经元之间的信息传递是双向对称的，即 而且自身无反馈，即 。 显见神经元将被外部环境“约束”在某一特定的状态，而中