软测量教程详解.ppt

　　② 训练样本数必须多于网络模型的连接权数，前者一般是后者的2～10倍；否则，样本必须分成几部分并采用“轮流训练”的方法才可能得到可靠的神经网络模型。  　　总之，若隐层节点数太少，网络可能根本不能训练或网络性能很差；若隐层节点数太多，虽然可使网络的系统误差减小， 但一方面使网络训练时间延长，另一方面，训练容易陷入局部极小点而得不到最优点，也是训练时出现“过拟合”的内在原因。因此，合理隐层节点数应在综合考虑网络结构复杂程度和误差大小的情况下用节点删除法和扩张法确定。 　　3) 神经网络的训练 　　（1） 训练。BP网络的训练就是通过应用误差反传原理不断调整网络权值，使网络模型输出值与已知的训练样本输出值之间的误差平方和达到最小或小于某一期望值。虽然理论上早已证明具有1个隐层（采用Sigmoid转换函数）的BP网络可实现对任意函数的任意逼近，但遗憾的是，迄今为止还没有构造性结论， 即在给定有限个（训练）样本的情况下，如何设计一个合理的BP网络模型并通过向所给的有限个样本的学习（训练）来满意地逼近样本所蕴含的规律（函数关系， 不仅仅是使训练样本的误差达到很小）的问题，目前在很大程度上还需要依靠经验。因此，通过训练样本的学习（训练）建立合理的BP神经网络模型的过程，在国外被称为“艺术创造的过程”， 是一个复杂而又十分烦琐和困难的过程。 　　（2） 学习率和冲量系数。学习率会影响系统学习过程的稳定性。大的学习率可能使网络权值每一次的修正量过大，甚至会导致权值在修正过程中超出某个误差的极小值呈不规则跳跃而不收敛；但过小的学习率会导致学习时间过长，不过能保证收敛于某个极小值。所以，一般倾向选取较小的学习率（通常在0.01～0.8之间），以保证学习过程的收敛性（稳定性）。 　　增加冲量项的目的是避免网络训练陷于较浅的局部极小点。 理论上其值大小应与权值修正量的大小有关，但实际应用中一般取常量，通常在0～1之间，而且一般比学习率要大。 　　4) 网络的初始连接权值 　　BP算法决定了误差函数一般存在（很）多个局部极小点， 不同的网络初始权值直接决定了BP算法收敛于哪个局部极小点或全局极小点。因此，要求计算程序（建议采用标准通用软件， 如Statsoft公司出品的Statistica Neural Networks软件和Matlab 软件）必须能够自由改变网络初始连接权值。由于Sigmoid转换函数的特性，一般要求初始权值分布在-0.5~0.5之间比较有效。 　　5) 网络模型的性能和泛化能力 　　训练神经网络的首要和根本任务是确保训练好的网络模型对非训练样本（检验样本和测试样本）具有好的泛化能力（推广性），即有效逼近样本蕴含的内在规律，而不是看网络模型对训练样本的拟合能力。从存在性结论可知，即使每个训练样本的误差都很小（可以为零），并不意味着建立的模型已逼近训练样本所蕴含的规律。因此，仅给出训练样本误差的大小而不给出非训练样本误差的大小是没有任何意义的。 　　判断建立的模型是否已有效逼近样本所蕴含的规律， 最直接和客观的指标是看从总样本中随机抽取的非训练样本的误差是否和训练样本的误差一样小或稍大。非训练样本误差很接近训练样本误差或比其小，一般可认为建立的网络模型已有效逼近训练样本所蕴含的规律；否则，若相差很多（如几倍、几十倍甚至上千倍）就说明建立的网络模型并没有有效逼近训练样本所蕴含的规律， 而只是在这些训练样本点上逼近而已，因此建立的网络模型便是对训练样本所蕴含规律的错误反映。因为训练样本的误差可以达到很小，所以，用从总样本中随机抽取的一部分测试样本的误差表示网络模型计算和预测所具有的精度（网络性能）是合理而可靠的。 　　6) 合理网络模型的确定 　　对同一结构的网络，由于BP算法存在（很）多个局部极小点，因此，必须通过多次（通常是几十次）改变网络初始连接权值求得相应的极小点，才能通过比较这些极小点的网络误差的大小，确定全局极小点，从而得到该网络结构的最佳网络连接权值。必须注意的是，神经网络的训练过程本质上是求非线性函数的极小点问题，因此，在全局极小点邻域内（即使网络误差相同），各个网络连接权值也可能有较大的差异，从而也会使各个输入变量的重要性发生变化，但这与具有多个零极小点（一般称为多模式现象）（如训练样本数少于连接权数时）的情况是截然不同的。此外，在不满足隐层节点数条件时，总可以求得训练样本误差很小或为零的极小点，但此时检验样本和测试样本的误差可能要大得多；若改变网络连接权初始值， 检验样本和测试样本的网络计算结果会产生很大变化，即多模式现象。 　　4. 气固两相流中固相质量流量的软测量 　　气固两相流中固相质量的在线测量，对气固两相流工业过程的检测和控制具有重要意义。  　　在稀气力输送过程中，差压