BP算法应用中的关键问题.pdfVIP

2OlO年 l0月 皖 西 学 院 学 报 Oct．．20l0 第 26卷第 期 JournalofW estAnhuiUniversity Vo1．26 N(J．5 BP算法应用中的关键问题 陶保壮 ，方厚加 (淮南联合大学 计算机系，安徽 淮南 232001) 摘 要 ：分析 了学习方法的选择、隐层数和隐层单元、学习步长的选择、避免局部最小的方法、学习样本 的选择、激活函数 的 选择等使用 BP算法时应考虑 的问题 ，并将 BP网络应用于化学反应催化模 型。 关键词 ：BP算法；隐层数和隐层单元数 ；学习步长；学 习样本 中图分类号 ：TP301．6 文献标识码 ：A 文章编号 ：1009—9735(2010)O5—0039一。3 BP算法的基本思想是，学习过程由信号的正向 比例缩小成较小的BP网络，先训练这个较小的BP网 传播与误差的反向传播两个过程组成口 ”。正向传 络，将学习的结果以同样的比例提升到原来较大规模的 播时，输入样本从输入层传人，经各隐层逐层处理后 ， 网络，再训练较大规模的网络。实验证明对于大规模 传向输出层 。如果输 出层的实际输 出与期望的输 出 BP网络 这 种 学 习方 法 速 度 快，特 征 抽 取 能 不符，则转入误差的反 传播阶段 。误差反传是将输 力强 2]‘。堋 。 出误差以某种形式通过隐层向输入层反传 ，并将误差 1．2 隐层数和隐层单元数 的选择 分摊给各层的所有单元 ，从而获得各层单元的误差信 1、一般总是先选择一个隐层的BP网络 ，但如果 号 ，此误差即作为修正单元权值的依据 。这种信号正 选择一个隐层时，隐层单元数 目较大，可 以考虑选用 传播与误差反向传播的各层权值调整过程，是周而复 两个隐层 ，而每个隐层的单元数取较小值。 始地进行的。权值不断调整的过程 ，也就是网络的学 2、隐层单元数 目HN的选择是否合适是应用 BP 习训练过程。该过程一直进行到网络输 出的误差减 网络成功与失败 的关键因素之一 ，HN值太小，学习 小到可接收的程度，或者进行到预先设定的学习次数 过程可能不收敛 ；HN值越大，网络映射能力越强 ，局 为止 。 部最小点越少，越容易收敛到全局最小点 j。但 HN 1 BP算法应用中的问题 过大，不但使学习时问过长，而且网络容易训练过度， 1．I 学习方法的选择 会使 网络的容错性降低。因为如果网络对学习样本 1、单样本学习法根据每一个学习样本的误差，求 的学习太 “精确”，即使检测样本与学习样本之间有很 权值修正值 ，更新值；成批学习法根据所有学习样本 小的畸变，网络也会判为非 。目前 ，最佳 隐层单元数 的总误差，求权值修正值 ，更新权值 。一般来说 ，学习 的选择尚无理论指导。实际应用 中，可以先取较小的 样本 中噪声较小时 ，用单样本学习法较合适 。 HN，训练并检验网络的性能 。然后稍增大 HN，再重 试。试验确定合适的[3]。 2、单样本学习法的缺点是每次迭代的梯度值受 1．3 学习步长的选择 学习样本 中的噪声影响较大 ，而成批学习法的缺点是 学习步长 (或称学习速率)的取值较大时，学习速 忽略了学习样本的个体差异而降低学习的灵敏度。 通常，可以将