人工神经网络的研究方法 文档资料.ppt

4 网络的初始连接权值 BP 算法决定了误差函数一般存在（很）多个局部极 小点，不同的网络初始权值直接决定了 BP 算法收敛于哪 个局部极小点或是全局极小点。因此，要求计算程序（建 议采用标准通用软件，如 Statsoft 公司出品的 Statistica Neural Networks 软件和 Matlab 软件 ）必须能够自由改变网 络初始连接权值。由于 Sigmoid 转换函数的特性，一般要 求初始权值分布在 -0.5~0.5 之间比较有效。 5. 网络模型的性能和泛化能力 训练神经网络的首要和根本任务是确保训练好的网 络模型对非训练样本具有好的泛化能力（推广性），即 有效逼近样本蕴含的内在规律，而不是看网络模型对训 练样本的拟合能力。从存在性结论可知，即使每个训练 样本的误差都很小（可以为零），并不意味着建立的模 型已逼近训练样本所蕴含的规律。因此，仅给出训练样 本误差（通常是指均方根误差 RSME 或均方误差、 AAE 或 MAPE 等）的大小而不给出非训练样本误差的大小是 没有任何意义的。 要分析建立的网络模型对样本所蕴含的规律的逼近 情况（能力），即泛化能力，应该也必须用非训练样本 （本文称为检验样本和测试样本）误差的大小来表示和 评价，这也是之所以必须将总样本分成训练样本和非训 练样本而绝不能将全部样本用于网络训练的主要原因之 一。 判断建立的模型是否已有效逼近样本所蕴含的规律 , 最直接和客观的指标是从总样本中随机抽取的非训练样 本（检验样本和测试样本）误差是否和训练样本的误差 一样小或稍大。非训练样本误差很接近训练样本误差或 比其小，一般可认为建立的网络模型已有效逼近训练样 本所蕴含的规律，否则，若相差很多（如几倍、几十倍 甚至上千倍）就说明建立的网络模型并没有有效逼近训 练样本所蕴含的规律，而只是在这些训练样本点上逼近 而已，而建立的网络模型是对训练样本所蕴含规律的错 误反映。 因为训练样本的误差可以达到很小，因此， 用从总样本中随机抽取的一部分测试样本的误差 表示网络模型计算和预测所具有的精度（网络性 能）是合理的和可靠的。 值得注意的是，判断网络模型泛化能力的好 坏，主要不是看测试样本误差大小的本身，而是 要看测试样本的误差是否接近于训练样本和检验 样本的误差。 6. 合理网络模型的确定 对同一结构的网络，由于 BP 算法存在（很）多个局 部极小点，因此，必须通过多次（通常是几十次）改变网 络初始连接权值求得相应的极小点，才能通过比较这些极 小点的网络误差的大小，确定全局极小点，从而得到该网 络结构的最佳网络连接权值。必须注意的是，神经网络的 训练过程本质上是求非线性函数的极小点问题，因此，在 全局极小点邻域内（即使网络误差相同），各个网络连接 权值也可能有较大的差异，这有时也会使各个输入变量的 重要性发生变化，但这与具有多个零极小点（一般称为多 模式现象）（如训练样本数少于连接权数时）的情况是截 然不同的。此外，在不满足隐层节点数条件时，总也可以 求得训练样本误差很小或为零的极小点，但此时检验样本 和测试样本的误差可能要大得多；若改变网络连接权初始 值，检验样本和测试样本的网络计算结果会产生很大变化， 即多模式现象。 对于不同的网络结构，网络模型的误差或性能和泛化能力也 不一样。因此，还必须比较不同网络结构的模型的优劣。一般地， 随着网络结构的变大，误差变小。通常，在网络结构扩大（隐层 节点数增加）的过程中，网络误差会出现迅速减小然后趋于稳定 的一个阶段，因此，合理隐层节点数应取误差迅速减小后基本稳 定时的隐层节点数。 总之，合理网络模型是必须在具有合理隐层节点数、训练时 没有发生“过拟合”现象、求得全局极小点和同时考虑网络结构 复杂程度和误差大小的综合结果。设计合理 BP 网络模型的过程是 一个不断调整参数的过程，也是一个不断对比结果的过程，比较 复杂且有时还带有经验性。这个过程并不是有些作者想象的（实 际也是这么做的）那样，随便套用一个公式确定隐层节点数，经 过一次训练就能得到合理的网络模型（这样建立的模型极有可能 是训练样本的错误反映，没有任何实用价值）。 虽然神经网络的类型很多，建立神经网络模型时，根据研 究对象的特点，可以考虑不同的神经网络模型。 前馈型 BP 网络即 误差逆传播神经网络是最常用、最流行的神经网络。 BP 网络的输 入和输出关系可以看成是一种映射关系，即每一组输入对应一组 输出。由于网络中神经元作用函数的非线性，网络实现是复杂的 非线性映射。关于这类网络对非线性的逼近能力， H