53 神经网络设计的若干改进.pptVIP

* 5.3 关于人工神经网络设计的 若干改进 人工神经网络存在的基本问题 1。 学习不收敛问题 学习误差曲面复杂，收敛至误差曲面的局部最小或在曲面平坦区收敛过慢。结果会造成目标曲面的欠拟合现象。 2。泛化能力差的问题 泛化能力(generalization capability)，又叫推广能力，是指神经网络在训练完成以后输入其训练样本之外的新数据时获得正确输出的能力。它是ANN的一个属性，故又叫泛化特性(generalization performance)。不管是什么类型的网络，不管它用于分类、逼近、推理还是其他问题，都存在一个泛化的问题。 3。存在众多选择困惑的问题 神经元的突触模型的选择，神经元的细胞体模型的选择，神经网络拓扑结构种层数、各层神经元个数、前馈还是反馈、全连接还是部分连接等的选择。选择不好会影响网络的学习和性能。 关于神经网络泛化能力差的问题 未收敛至全局最小，出现欠拟合现象 图中的曲线2和3是一多层前馈网络、分别以2组随机初始权值训练至相当精度而实际拟合的曲线——拟合曲线在样本点间出现振荡，称为过拟合(Overfitting)。本质为出现多个全局最小，但收敛至不为解的全局最小。这里，以9个训练样本数据的实际输出和理想输出的均方误差最小作为训练目标，ANN结构1-20-1，隐层sigmoid函数，输出层为线性函数，用matlab中的trainlm快速学习算