83BP网络拓扑结构设计.ppt

§8.3 BP网络拓扑结构设计 8.3.1 网络层数与能力 在BP算法被提出以后，人们对多层神经网络的能力进行了较多的研究。特别是带有单隐含层单元的三层神经网络的能力引起了人们的广泛兴趣。Lippmann R指出三层网络可以用来处理凸区域上的模式识别问题；Huang W用仿真实验表明了三层网络可以用来处理几种很复杂的模式识别问题；Wieland A和Leighton R给出了例子，用三层网络来讲空间划分成凹的子空间。如果隐含层节点数选择合适，只有一个隐含层的三层BP神经网络可以实现任意精度的输入层到输出层的非线性映射。 从上述结果可以看出，对于任何在闭区间的一份连续函数都可以用一个隐含层的BP网络来逼近，因而一个三层的BP网络可以完成任意的N维到M维的映射， 所以目前对BP网络的绝大多数研究都是针对三层网络。 8.3.2 三层BP网络隐含层优化 当隐含层节点数较多时：优点是表现能力强，而缺点是则是学习时间过长，网络长时间不收敛，接近收敛时易出现振荡，而且网络容易训练过度，这时为了不但记住了学习样本的一般特征，而且记住了学习样本中的个别特征，造成网络的容错性能下降。 当隐含层节点数较少时：优点是学习时间短，学习后网络结构简单。缺点是有表现能力不足的可能性，而且由于隐含层节点数过少，学习过程可能不收敛，网络对训练模式的特征提