人工神经网络的算法概要1.docVIP

BP网络的算法 设网络输入为，输入神经元有个；隐含层有个神经元，激发函数为；输出层内有个神经元，对应的激活函数为。输出为，目标矢量为。 信息的正向传递 隐含层中第个神经元的输出为： (4.15) 输出层第k个神经元的输出为： (4.16) 定义误差函数为： (4.17) 求权值的变化及误差的反向传播 输出层的权值变化 对从第个输入到第个输出的权值变化为： (4.18) 式(4.18)中，。 同理可得： (4.19) 隐含层权值的变化 对从第个输入到第个输出的权值，其变化量为： (4.20) 式(4.20)中， 同理可得：。 （三）BP网络的设计和训练 1）BP网络的设计 设计BP网络的结构，包括的内容为：①网络的层数；②每层的神经元数；③初始权值的选取；④期望误差的选取。其设计的网络性能直接影响到评判结果的可靠性。 网络的层数 理论上已证明：具有输入层、偏差和至少一个S型隐含层加上一个线性输出层的网络，能够逼近任何有理函数。 增加网络的层数可以提高网络性能，减少误差，提高精度，同时使网络结构复杂化，增加训练的时间。因此要优先考虑增加隐含层的神经元数而不是增加网络层数来提高网络性能。在采用单层网络时，非线性激发函数的网络不如线性网络的性能。也就是说，可以用一层解决的问题，应当首先采用感知器或自适应线性网络来解决，不采用非线性网络，因为单层网络不能发挥出非线性激发函数的特长。 对于某一求解问题，必有一个输入层和一个输出层，隐含层数则需要根据问题的复杂性来分析和确定，隐含层数的合理选取是网络取得良好性能的一个关键。 有关研究表明，隐含层数的增加，可以形成更复杂的决策域，使网络解决非线性问题的能力得到加强。由于网络计算过程实质上是一种映射，这种映射将最初的输入空间映射到存在半线性判别函数的适当空间中。因此，认为隐含层最多只需要两层，甚至必须是两层的论述缺乏理论依据。合理的隐含层数应根据实际问题决策的复杂程度和非线性程度相适应，给系统赋予一个自适应算法，根据某一特定的问题进行不同隐含层数的网络训练，合理的隐含层数应该使网络收敛且系统误差较小，图4.8给出了一般意义上的隐含层数对网络性能影响的分析结果。 隐含层的神经元数 采用适当的隐含层神经元非常重要，是网络模型功能实现成功与否的关键。神经元太少，网络难以处理较复杂的问题；反之，神经元数太多，导致网络训练时间急剧增加，而且过多的神经元还会导致网络训练过度，将训练数据组中没有意义的信息也记忆在网络中，难以建立正确的模型。但是，神经元数的合理确定主要还是根据需要解决的问题的不同进行反复比较，图4.9给出了在解决同一问题时隐含层神经元数对网络性能的影响的分析结果。 根据图4.9和训练误差的变化情况，可得出以下结论： 1）隐含层的神经元数太少了，网络不能很好的学习，需要训练的次数多，训练精度不高。 2）从理论上讲，隐含层数越多，功能越强。但是，当神经元数太多时，会使循环次数和训练时间增加，同时还会产生其它问题，如图4.9所示，神经元数后，网络解决问题的能力开始出现问题，训练时间和循环次数均开始增加。 3）选择的原则是：在解决问题的前提下，再加上1~2个神经元可以加快误差的下降速度。 初始权值的选取 由于煤自燃极限参数预测系统是非线性的，初始权值对于网络学习是否达到局部最小、是否能够收敛以及训练时间的长短有很大的关系。从激发函数的特性分析，初始权值应该取（-1，1）之间的随机数，从而保证神经元的权值都能够在它们的S型激发函数变化最大之处进行调节。最佳初始权值的选择的数量级是：，其中是第一层神经元数。利用这种方法可以在较少的训练次数下得到满意的训练结果。 学习速率 学习速率决定着每一次循环训练中所产生的权值变化量。大的学习速率可能导致系统的不稳定，但小的学习速率将会导致训练时间较长，收敛速度很慢，但能保证网络的误差不跳出误差表面的低谷而最终趋于最小误差。所以一般情况下，倾向于选取较小的学习速率以保证系统的稳定性。在煤自燃极限参数的预测系统中学习速率一般选取在0.01~0.8之间。 期望误差的选取 在设计网络的训练过程中，期望误差也应当通过对比训练寻求一个合适的值。煤自燃极限参数预测系统中的“合适”是相对于隐含层的节点数来确定的，因为较小的期望误差值是要靠增加隐含层的节点以及训练时间来获得的。 2）BP网络训练的步骤 BP网络的训练按照图4.10所示的步骤进行网络训练。 3）BP网络训练的计算机实现方法 BP网络的训练过程在计算机上实现，需要根据以下的实现方法进行，以提高训练的精度和效率。 小的随机数给每一层的权重和赋初值： 式中，rands()为随机数赋值子函