神经网络第五章.pptVIP

第五章 随机型神经网络 5.1 随机型神经网络的基本思想 5.2 模拟退火算法 5.3 Boltzmann机与Boltzmann机工作规则 5.4 Boltzmann机学习规则 5.5 网络小结 5.1 随机型神经网络的基本思想 误差反向传播算法的基本思想: 通过对网络参数(连接权、输出阈值)的逐步调整实现网络学习的。它是在提供给网络的学习模式集合的全局误差按梯度下降的条件下达到网络记忆目的。 当学习过程进行到全局误差开始有上升的趋势时就停止了，这往往导致网络误差陷入局部极小值，而达不到全局最小点。 这种算法被形象地称为“贪心”算法，即急于找到最小解．结果则是欲速则不达。 对于Hopfield网络，其工作规则也是使网络的能量函数朝梯度下降的力向变化，即随着网络状态的不断更新，网络能能量函数单调下降，其结果也往往是是使网络陷入局部极小值，最终得不到网络的最优解。 分析以上两种网络结构与算法的特点：导致网络学习过程陷入局部极小点的原因主要有： ①结构上: 存在着输入与输出之间的非线性函数关系, 从而使网络误差或能量函数所构成的空 间是一个含有多极点的非线性空间； ②算法上: 网络的误差或能量函数只能按单方向减 小而不能有丝毫的上升趋势。 对于第一点，是为保证、网络具有非线性映衬能