§8.9bp网络的改进算法分析.pptVIP

§ 8.9 BP网络的改进算法分析 8.9.1 改善网络的收敛性法 （1）改进激励函数法 标准Sigmoid函数的输出动态范围是[0,1],理论和实践均表明这不是最佳的。为此，可对S型激励函数进行偏置，将输出范围变为[-0.5,+0.5],即令 （8-92） 或将输出范围变为[-1,+1]，即令 （8-93） 向国全分析了激励函数对收敛速度影响之后，提出了一种新的激励函数 （8-94） 式中， 值越大函数f(x)越陡峭，因此收敛速度也就越快，但 值过大，收敛速度反而降低，通常 由于不同函数在不同区间有不同的特性，因此作者提出在网络学习过程中，除BP网络拓扑结构可以改变外，激励函数也可以进行自适应选择和替换，以弥补仅用单一激励函数的不足。 （2）改进误差函数法 （3）改进学习函数法 （4）改进的选权迭代法 （5）网络参数的自适应学习法 8.9.2 改进的优化算法 （1）梯度下降与直接搜索相结合法 针对基于梯度下降算法的BP算法存在的主要缺陷，孙建业等提出的这一改进算法是建立在梯度下降法与直接搜索法相结合的基础上的，该算法仍是递推算法 不仅继承了梯度下降的通用性强的优点，而且提高了收敛速度，并基本上克服了收敛特性项目标函数接近时变坏的缺点。 （2）全局优化法 对于BP算法存在的局部极小问题，人们对如何避免或摆脱局部较小进行了较多的研究； 1）在权值迭代式中增加动量项并适当选择系数； 2）给权值加小的随机扰动，有助于网络摆脱局部极小； 3）将BP算法与模拟退火算法或遗传算法结合起来，可以避免陷入局部极小。 （3）非线性优化法 非线性优化算法是一类收敛算法较为实用的是变尺度法。由于其惯性因子仍须猜测，王正欧提出一种惯性因子自适应调整的变尺度分层算法。 8.9.3 BP网络拓扑修正法 前馈多层神经网络克服了单层网络功能表示能力低的缺陷。在前馈网络拓扑结构中，输入/输出结点是由问题本身决定的，只有隐含层的层数和节点数是可变的，而隐含层节点的选取时比较困难的。隐含层节点数少，学习过程可能不收敛；隐含层结点多，网络性能会下降且结点冗余。本证前面对如何确定BP网络的与欧普结构已进行了详细探讨，并给出了咋BP网络学习过程中自动修正BP网络拓扑结构的方法。 § 8.10 BP网络的智能训练算法 8.10.1 问题的提出 上节对目前BP网络快速学习的各种改进算法进行了分析和研究，尽管这些研究在某种程度上改写了传统的BP算法，但效果并不显著，因此提出了BP网络的智能训练算法，该法的特点是： （1）使BP网络的纯数学化学习方式向智能化学习方式发展。 （2）使BP网络的学习过程中能动态改变网络拓扑结构。 （3）加强了系统克服局部绩效的能力，尤其能克服神经元激活函数饱和区和误差函数平坦区的影响。 （4）采用多目标优化学习方法，以获得最佳的神经网络结构、学习效果和学习速度、最强的网络推广能力。 8.10.2 BP智能训练算法的基本思想和策略 BP网络智能训练算法试将获得一个最佳性能的BP网络作为目标，针对某一给定的问题和所获取得样本，采用不同的训练策略进行优化组合，走动选择出最优秀的训练方法和训练结果。因此，它不同于目前已有BP改进算法中进队某一项或几项BP网络指标进行改进。BP网络智能训练算法的基本思想和策略如下： （1）错误样本剔除 （2）样本划分 （3）样本归一化 （4）采用组合激活函数 （5）网络权值初始化 （6）训练样本的学习顺序和方法 （7）网络拓扑结构动态调整 （8）采用不同误差函数 （9）学习函数自动选择 （10）全局寻优避开局部最小 （11）网络参数的自适应调整 （12）以综合均方根差E最小作为训练收敛标准 （13）网络训练结果自动存储 8.10.3 智能训练算法的计算步骤 根据上述思想，BP网络智能训练算法计算包括以下几个方面。 （1）剔除错误样本 1）初始化网络及学习参数，即将隐含层和输出层各节点的连接权值、神经元阈值赋予吗，某一区间[-0.5,+0.5]的一个随机数，隐含层节点数L=2*N+1， 2）将样本的输入/输出值转化至[0.1