课件：人工神经网络II.ppt

by 谢广明 ， 2005~2006学年度第一学期 * 算法设计 在确定隐层节点数时必须满足下列条件： 隐层节点数必须小于N-1（其中N为训练样本数），否则，网络模型的系统误差与训练样本的特性无关而趋于零，即建立的网络模型没有泛化能力，也没有任何实用价值。同理可推得：输入层的节点数（变量数）必须小于N-1。 训练样本数必须多于网络模型的连接权数，一般为2~10倍，否则，样本必须分成几部分并采用“轮流训练”的方法才可能得到可靠的神经网络模型。 by 谢广明 ， 2005~2006学年度第一学期 * 算法设计 折衷选择 若隐层节点数太少，网络可能根本不能训练或网络性能很差； 若隐层节点数太多，虽然可使网络的系统误差减小，但一方面使网络训练时间延长，另一方面，训练容易陷入局部极小点而得不到最优点，也是训练时出现“过拟合”的内在原因。 合理隐层节点数应在综合考虑网络结构复杂程度和误差大小的情况下用节点删除法和扩张法确定。 by 谢广明 ， 2005~2006学年度第一学期 * 算法设计 迄今为止还没有构造性结论，即在给定有限个（训练）样本的情况下，如何设计一个合理的BP网络模型并通过向所给的有限个样本的学习（训练）来满意地逼近样本所蕴含的规律（函数关系，不仅仅是使训练样本的误差达到很小）的问题。 通过训练样本的学习（训练）建立合理的BP神经网络模型的过程，在国外被称为“艺术创造的过程”，是一个复杂而又十分烦琐和困难的过程。 by 谢广明 ， 2005~2006学年度第一学期 * 算法设计 学习率 学习率影响系统学习过程的稳定性。大的学习率可能使网络权值每一次的修正量过大，甚至会导致权值在修正过程中超出某个误差的极小值呈不规则跳跃而不收敛；但过小的学习率导致学习时间过长，不过能保证收敛于某个极小值。所以，一般倾向选取较小的学习率以保证学习过程的收敛性（稳定性），通常在0.01~0.8之间。 by 谢广明 ， 2005~2006学年度第一学期 * 算法设计 初始连接权值 误差函数一般存在（很）多个局部极小点，不同的网络初始权值直接决定了BP算法收敛于哪个局部极小点或是全局极小点。 要求计算程序必须能够自由改变网络初始连接权值。 由于Sigmoid转换函数的特性，一般要求初始权值分布在-0.5~0.5之间比较有效。 by 谢广明 ， 2005~2006学年度第一学期 * 算法设计 网络模型的性能和泛化能力 训练神经网络的首要和根本任务是确保训练好的网络模型对非训练样本具有好的泛化能力（推广性），即有效逼近样本蕴含的内在规律，而不是看网络模型对训练样本的拟合能力。 从存在性结论可知，即使每个训练样本的误差都很小（可以为零），并不意味着建立的模型已逼近训练样本所蕴含的规律。 仅给出训练样本误差（通常是指均方根误差RSME或均方误差、AAE或MAPE等）的大小而不给出非训练样本误差的大小是没有任何意义的。 by 谢广明 ， 2005~2006学年度第一学期 * 算法设计 分析模型泛化能力，应该也必须用非训练样本误差的大小来表示和评价。 判断建立的模型是否已有效逼近样本所蕴含的规律,最直接和客观的指标是从总样本中随机抽取的非训练样本（检验样本和测试样本）误差是否和训练样本的误差一样小或稍大。 非训练样本误差很接近训练样本误差或比其小，一般可认为建立的网络模型已有效逼近训练样本所蕴含的规律。 by 谢广明 ， 2005~2006学年度第一学期 * 算法设计 因为训练样本的误差可以达到很小，因此，用从总样本中随机抽取的一部分测试样本的误差表示网络模型计算和预测所具有的精度（网络性能）是合理的和可靠的。 判断网络模型泛化能力的好坏，主要不是看测试样本误差大小的本身，而是要看测试样本的误差是否接近于训练样本和检验样本的误差。 by 谢广明 ， 2005~2006学年度第一学期 * 算法设计 合理网络模型的确定 对同一结构的网络，由于BP算法存在（很）多个局部极小点，因此，必须通过多次（通常是几十次）改变网络初始连接权值求得相应的极小点，才能通过比较这些极小点的网络误差的大小，确定全局极小点，从而得到该网络结构的最佳网络连接权值。 by 谢广明 ， 2005~2006学年度第一学期 * 算法设计 收敛误差界值 在网络训练过程中应根据实际情况预先确定误差界值。 误差界值的选择完全根据网络模型的收敛速度大小和具体样本的学习精度来确定。 当选择较小时，学习效果好，但收敛速度慢，训练次数增加。 取得较大时则相反。 by 谢广明 ， 2005~2006学年度第一学期 * 算法改进 由于BP网络采用误差反传算法，其实质是一个无约束的非线性最优化计算过程，在网络结