数学建模BP神经网络论文讲解.doc

BP神经网络 算法原理： 输入信号通过中间节点（隐层点）作用于输出节点，经过非线形变换，产生输出信号，网络训练的每个样本包括输入向量和期望输出量，网络输出值与期望输出值之间的偏差，通过调整输入节点与隐层节点的联接强度取值和隐层节点与输出节点之间的联接强度以及阈值，使误差沿梯度方向下降，经过反复学习训练，确定与最小误差相对应的网络参数（权值和阈值），训练即告停止。此时经过训练的神经网络即能对类似样本的输入信息，自行处理输出误差最小的经过非线形转换的信息。个神经元，隐含层有个神经元,输出层有个神经元 输入向量： 隐含层输入向量： 隐含层输出向量： 输出层输入向量： 输出层输出向量： 期望输出向量: 输入层与中间层的连接权值: 隐含层与输出层的连接权值: 隐含层各神经元的阈值: 输出层各神经元的阈值: 样本数据个数: 激活函数: 误差函数： 算法步骤： Step1.网络初始化 。给各连接权值分别赋一个区间（-1，1）内的随机数，设定误差函数，给定计算精度值和最大学习次数M。 Step2.随机选取第个输入样本及对应期望输出 Step3.计算隐含层各神经元的输入和输出及输出层各神经元的输入和输出 Step4.利用网络期望输出和实际输出，计算误差函数对输出层的各神经元的偏导数。 Step5.利用隐含层到输出层的连接权值、输出层的和隐含层的输出计算误差函数对隐含层各神经元的偏导数。 Step6.利用输出层各神经元的和隐含层各神经元的输出来修正连接权值。 Step7.利用隐含层各神经元的和输入层各神经元的输入修正连接权。 Step8.计算全局误差。 Step9.判断网络误差是否满足要求。当误差达到预设精度或学习次数大于设定的最大次数，则结束算法。否则，选取下一个学习样本及对应的期望输出，返回到第三步，进入下一轮学习。 算法流程图： 参数确定： 确定了网络层数、每层节点数、传递函数、初始权系数、学习算法等也就确定了BP网络。确定这些选项时有一定的指导原则，但更多的是靠经验和试凑。 1. 样本数据 采用BP神经网络方法建模的首要和前提条件是有足够多典型性好和精度高的样本。而且，为监控训练（学习）过程使之不发生“过拟合”和评价建立的网络模型的性能和泛化能力，必须将收集到的数据随机分成训练样本、检验样本（10%以上）和测试样本（10%以上）3部分。 2.输入/输出变量 一般地，BP网络的输入变量即为待分析系统的内生变量（影响因子或自变量）数，一般根据专业知识确定。若输入变量较多，一般可通过主成份分析方法压减输入变量，也可根据剔除某一变量引起的系统误差与原系统误差的比值的大小来压减输入变量。输出变量即为系统待分析的外生变量（系统性能指标或因变量），可以是一个，也可以是多个。一般将一个具有多个输出的网络模型转化为多个具有一个输出的网络模型效果会更好，训练也更方便。 3.数据的预处理 由于BP神经网络的隐层一般采用Sigmoid转换函数，为提高训练速度和灵敏性以及有效避开Sigmoid函数的饱和区，一般要求输入数据的值在0～1之间。因此，要对输入数据进行预处理。一般要求对不同变量分别进行预处理，也可以对类似性质的变量进行统一的预处理。如果输出层节点也采用Sigmoid转换函数，输出变量也必须作相应的预处理，否则，输出变量也可以不做预处理。但必须注意的是，预处理的数据训练完成后，网络输出的结果要进行反变换才能得到实际值。再者，为保证建立的模型具有一定的外推能力，最好使数据预处理后的值在0.2～0.8之间。 标准化： 4.隐层数 一般认为，增加隐层数可以降低网络误差，提高精度，但也使网络复杂化，从而增加了网络的训练时间和出现“过拟合(overfitting)” 造成网络的性能脆弱，泛化能力(generalization ability)下降。Hornik等早已证明：若输入层和输出层采用线性转换函数，隐层采用Sigmoid转换函数，则含一个隐层的MLP网络能够以任意精度逼近任何有理函数。显然，这是一个存在性结论。在设计BP网络时可参考这一点，应优先考虑3层BP网络（即有1个隐层）。 图 三层BP网络的拓扑结构 5.隐层节点数 在BP 网络中，若隐层节点数太少，网络可能根本不能训练或网络性能很差；若隐层节点数太多，虽然可使网络的系统误差减小，但一方面使网络训练时间延长，另一方面，训练容易陷入局部极小点而得不到最优点，也是训练时出现“过拟合”的内在原因，但是目前理论上还没有一种科学的和普遍的确定方法。为尽可能避免训练时出现“过拟合”现象，保证足够高的网络性能和泛化能力，确定隐层节点数的最基本原则是：在满足精度要求的前提下取尽可能紧凑的结构，即取尽可能少的隐层节点数。因此，合理隐层节点数应在综合考虑网络结构复杂程度和误差大小的情况下用节点删除