典型人工神经网络BPPT课件2.ppt

* 选用不同的作用函数、性能指标； 解决局部极小问题 选用不同的初值迭代；激励函数加入斜率因子；模拟退火方法；分解子网。 加快收敛速度 采用不同的激励函数；变学习率方法；利用激励函数的二阶导数；最速下降法；组合学习方法；权值修正引入动量因子；遗传算法；等等。 BP学习算法的改进 * 准则： 检查权值的修正值是否真正降低了误差函数，如果确实如此，则说明所选取的学习速率值小了，可以对其增加一个量； 若不是这样，而产生了过调，那么就应该减小学习速率的值。 调整公式： 自适应变学习率方法 * 在修正其权值时，不仅考虑误差在梯度上的作用，而且考虑在误差曲面上变化趋势的影响。利用附加动量的作用则有可能滑过局部极小值。 该方法是在反向传播法的基础上，在每一个权值的变化上加上一项正比于前次权值变化量的值，并根据反向传播法来产生新的权值变化。 权值调节公式： 动量因子，一般取0.95左右 附加动量法 * 网络的层数 隐含层的神经元数 初始权值的选取 学习速率的选取 期望误差的选取 BP网络的设计 * 理论上已经证明：至少一个S型隐含层加上一个线性输出层的网络，能够逼近任何有理函数。 增加层数主要可以更进一步的降低误差，提高精度，但同时也使网络复杂化，从而增加了网络权值的训练时间。 一般情况下，应优先考虑增加隐含层中的神经元数。 能不能仅用具有非线性激活函数的单层网络来解决问题呢？结论是：没有必要或效