神经网络 第五章篇.pptVIP

例如，一个由Boltzmann机网络组成的柴油机故障诊断系统，当给网络提供一个表示排气筒有黑烟的故障输入模式后，在网络的输出部分(即故障诊断系统的诊断输出端)按产生这种故障现象的原因的概率的大小提供一系列输出模式，如汽缸点火位置不准、油料中含有杂质等等。从此构成网络的学习模式对。 无论是自联想记亿还是互联想记忆，其实质就是：网络通过学习目标概率分布函数，将其记忆并在以后的回想过程中将这一概率分布再现出来。 应该注意的是，Boltzmann机网络与一般的阶层网络不同，它没有明显的层次界限。一般是根据问题的需要，在全互连接的各个神经元中选择一些作为可视层，另一些作为隐含层。 可视层：神经元的个数可以根据记忆模式的形式确 定； 隐含层：神经元的个数目前则需凭经验确定。 Boltzmann机网络是怎样记忆目标分布函数的呢? 按Boltzmann机工作规则进行网络的状态转移，当转移的次数足够大时，网络的状态出现将服从于Boltzmann分布。 Boltzmann分布函数是由网络状态的能量函数决定的，而状态的能量函数又是由网络的连接权和输出阈值所决定的。因此，通过适当地调整网络的连接权和输出阀值，就可实现所希望的Boltzmann概率分布。 连接权和阈值的调整过程也就是网络的学习过程。 式中 表示网络的可视层各神经元的输出按所希望的概率分布固定在某一状态下，仅让隐含层的各神经元按Boltzmann工作规则进行状态更新，当更新次数足够大并认为网络已达到平衡状态之后神经元i和j同时输出为1的概率(也称ui与uj之间的对称概率)。 式中 表示当整个神经元按Boltzmann工作规则进行状态更新、并达到平衡状态之后，神经元i与j同时输出为l的概率。 第五章 随机型神经网络 5.1 随机型神经网络的基本思想 5.2 模拟退火算法 5.3 Boltzmann机与Boltzmann机工作规则 5.4 Boltzmann机学习规则 5.5 网络小结 5.1 随机型神经网络的基本思想 误差反向传播算法的基本思想: 通过对网络参数(连接权、输出阈值)的逐步调整实现网络学习的。它是在提供给网络的学习模式集合的全局误差按梯度下降的条件下达到网络记忆目的。 当学习过程进行到全局误差开始有上升的趋势时就停止了，这往往导致网络误差陷入局部极小值，而达不到全局最小点。 这种算法被形象地称为“贪心”算法，即急于找到最小解．结果则是欲速则不达。 对于Hopfield网络，其工作规则也是使网络的能量函数朝梯度下降的力向变化，即随着网络状态的不断更新，网络能能量函数单调下降，其结果也往往是是使网络陷入局部极小值，最终得不到网络的最优解。 分析以上两种网络结构与算法的特点：导致网络学习过程陷入局部极小点的原因主要有： ①结构上: 存在着输入与输出之间的非线性函数关系, 从而使网络误差或能量函数所构成的空 间是一个含有多极点的非线性空间； ②算法上: 网络的误差或能量函数只能按单方向减 小而不能有丝毫的上升趋势。 对于第一点，是为保证、网络具有非线性映衬能力而必不可少的。 解决网络收敛问题的途径就只能从第二点入手，即不但让网络的误差或能量函数向减小的方向变化，而且，还可按某种方式向增大的方向变化，目的是使网络有可能跳出局部极小值而向全局最小点收敛。这就是随机型神经网络算法的基本思想。 4.2 模拟退火算法 模拟退火算法(Simulated Annealing Algorithm)，就是模拟金属构件退火过程的一种算法。 金属或某类固体物质退火处理过程是： 先用高温将其加热熔化，使其中的粒子可以自由运动； 逐渐降低温度，粒子的自由运动趋势也逐渐减弱，并逐渐形成低能态晶格。若在凝结点附近温度下降的速度足够慢，则金属或固体物质一定会形成最低能量的基态，即最稳定结构状态。 实际上，在整个降温的过程中，各个粒子都可能经历了由高能态向低能态、有时又暂时由低能态向高能态最终趋向低能态的变化过程。 上式表明：在模拟退火算法中，某神经元的输出不象Hopfield算法中那样，是由以内部状态Hi为输入的非线性函数的输出(阶跃函数)所决定的，而是由Hi为变量的概率PHi(1)或PHi(0)所决定的。不同的Hi，对应不同的概率) PHi(1)或PHi(0)。 以上各式体现了模拟退火算法的两个关键点。将Hopfield网络能量函数的变化式重写: 这在Hopfield算法中是不允许的。而这里却允许比较小的概率(负横轴所对应