BP神经网络原理.docVIP

BP神经网络原理 2.1 基本BP算法公式推导 基本BP算法包括两个方面：信号的前向传播和误差的反向传播。即计算实际输出时按从输入到输出的方向进行，而权值和阈值的修正从输出到输入的方向进行。 图-1 BP网络结构 Fig.-1 Structure of BP network 图中：表示输入层第个节点的输入，j=1,…,M； 表示隐含层第i个节点到输入层第j个节点之间的权值； 表示隐含层第i个节点的阈值； 表示隐含层的激励函数； 表示输出层第个节点到隐含层第i个节点之间的权值，i=1,…,q； 表示输出层第k个节点的阈值,k=1,…,L； 表示输出层的激励函数； 表示输出层第个节点的输出。 （1）信号的前向传播过程 隐含层第i个节点的输入neti： （3-1） 隐含层第i个节点的输出yi： （3-2） 输出层第k个节点的输入netk： （3-3） 输出层第k个节点的输出ok： （3-4） （2）误差的反向传播过程 误差的反向传播，即首先由输出层开始逐层计算各层神经元的输出误差，然后根据误差梯度下降法来调节各层的权值和阈值，使修改后的网络的最终输出能接近期望值。 对于每一个样本p的二次型误差准则函数为Ep： （3-5） 系统对P个训练样本的总误差准则函数为： （3-6） 根据误差梯度下降法依次修正输出层权值的修正量Δwki，输出层阈值的修正量Δak，隐含层权值的修正量Δwij，隐含层阈值的修正量。 ；；； （3-7） 输出层权值调整公式： （3-8） 输出层阈值调整公式： （3-9） 隐含层权值调整公式： （3-10） 隐含层阈值调整公式： （3-11） 又因为： （3-12） ，，， （3-13） （3-14） （3-15） （3-16） 所以最后得到以下公式： （3-17） （3-18） （3-19） （3-20） 图-2 BP算法程序流程图 Fig.-2 The flowchart of the BP algorithm program 2.2 基本BP算法的缺陷 BP算法因其简单、易行、计算量小、并行性强等优点，目前是神经网络训练采用最多也是最成熟的训练算法之一。其算法的实质是求解误差函数的最小值问题，由于它采用非线性规划中的最速下降方法，按误差函数的负梯度方向修改权值，因而通常存在以下问题： 学习效率低，收敛速度慢 易陷入局部极小状态 2.3 BP算法的改进 2.3.1附加动量法 附加动量法使网络在修正其权值时，不仅考虑误差在梯度上的作用，而且考虑在误差曲面上变化趋势的影响。在没有附加动量的作用下，网络可能陷入浅的局部极小值，利用附加动量的作用有可能滑过这些极小值。 该方法是在反向传播法的基础上在每一个权值（或阈值）的变化上加上一项正比于前次权值（或阈值）变化量的值，并根据反向传播法来产生新的权值（或阈值）变化。 带有附加动量因子的权值和阈值调节公式为： 其中k为训练次数，mc为动量因子，一般取0.95左右。 附加动量法的实质是将最后一次权值（或阈值）变化的影响，通过一个动量因子来传递。当动量因子取值为零时，权值（或阈值）的变化仅是根据梯度下降法产生；当动量因子取值为1时，新的权值（或阈值）变化则是设置为最后一次权值（或阈值）的变化，而依梯度法产生的变化部分则被忽略掉了。以此方式，当增加了动量项后，促使权值的调节向着误差曲面底部的平均方向变化，当网络权值进入误差曲面底部的平坦区时， (i将变得很小，于是,从而防止了的出现，有助于使网络从误差曲面的局部极小值中跳出。 根据附加动量法的设计原则，当修正的权值在误差中导致太大的增长结果时，新的权值应被取消而不被采用，并使动量作用停止下来，以使网络不进入较大误差曲面；当新的误差变化率对其旧值超过一个事先设定的最大误差变化率时，也得取消所计算的权值变化。其最大误差变化率可以是任何大于或等于1的值。典型的取值取1.04。所以，在进行附加动量法的训练程序设计时，必须加进条件判断以正确使用其权值修正公式。 训练程序设计中采用动量法的判断条件为： ， E（k）为第k