优化人工神经网络.pptVIP

优化BP神经网络的一些方法 刘少哲 成琦 王志兵 　BP神经网络 BP网络是一种多层前馈神经网络,它采用BP算法实现输入空间到输出空间的非线性映射,具有结构简单、可操作性强等优点,目前已被广泛应用.BP神经网络模型一般由三层构成(图1),对于输入信号先传播到隐层节点,再把隐层节点的信息传播到输出节点. 输入层I有n个节点,隐层J有h个节点,输出层K有m个节点;Wji表示输入层的第i个节点和隐层的第j个节点之间的连接权值,Wkj表示隐层的第j个节点和输出层的第k个节点之间的连接权值;d1,d2,…,dm为期望输出;e1,e2,…,em为实际和期望输出值的误差. BP算法的基本思想: 学习过程由模式正传播和误差逆传播两个过程组成.正向传播时,信号作用于输入层,经隐层处理后,传向输出层.若输出层没能得到期望值,则转入误差反向传播阶段,将输出误差通过隐层向输入层逐层返回,从而获得各层的误差信号,作为修改权值的依据.权值不断修改的过程,也就是网络的学习过程,即对网络的连接权Wji和Wkj进行调整,使该网络实现给定的输入输出映射关系.此过程一直进行到网络输出的误差满足可接受的程度或达到预定的学习次数为止. 基本 BP 算法的局限性 (1) 网络训练的收敛速度很慢 基本BP算法在实际应用中，网络训练的收敛速度很慢，这主要是由于为了保证网络的稳定性，取较小的学习率造成的。