误差反向传播神经网络模型的改善及其应用.pdfVIP

水 利 学 报 2003 年07 月 SHUILI XUEBAO 第7 期 文章编号：0559-9350 (2003) 07-0111-04 误差反向传播神经网络模型的改进及其应用 １ ２ 1 李宗坤 ，郑晶星 ，周晶 (1.大连理工大学 海岸近海工程国家重点实验室，辽宁 大连 116024；2.广东省水利水电勘测设计研究院，广东 广州 510170) 摘要：针对误差反向传播神经网络模型(BP模型)学习收敛速度慢、容易陷入局部极小点等缺点，提出原始数据的非 线性规格化函数、记忆式初始权值、阈值和参数自动优选等方法，对BP 模型进行改进。结合陆浑水库大坝沉降实测 资料的分析，编制了改进后的BP 网络算法程序。分析结果表明，改进后的BP 模型对于提高网络运行收敛速度、防 止陷入局部极小点、克服手工调试参数的盲目性、提高模型精度等都有较大的改善作用。 关键词：BP 模型；非线性规格化；记忆式初始权值；阈值 中图分类号：TV698 文献标识码：A 收稿日期：2002-07-01 基金项目：河南省青年骨干教师资助项目 作者简介：李宗坤(1961-)，男，河南邓州人，郑州大学副教授，大连理工大学博士研究生，主要从事大型水工结构安全性 评价和结构计算。 BP 模型是神经网络模型中最具代表性和广泛应用的一种，其结构简单，可操作性强，能模拟任意的非 线性输入、输出关系。但它也存在很多缺点，如学习收敛速度慢，通常需要经过几千次迭代甚至更多，容 易陷入局部极小点而无法得到全局最优解。目前已有不少人对此提出了改进的方案。如文献［1］提出在修改 权值中加入“动量项”；文献［2］ ［3］ ［4］ 采用共轭梯度法；文献 引入同伦方法；文献 中采用Catchy 误差估计 器代替传统的LMS 误差估计器；文献［5］将输入输出数据初始化到(0.1，0.9)的区间内。这些方案对BP 模 型起到一定的改进作用，但仍然存在着不足。作者通过对大量实例的分析研究，提出了一些新的改进方法。 1 BP 模型的改进 1.1 原始数据的非线性规格化 大多数BP 模型以S 形函数作为转换函数，该函数的值域为 ［0，1］，因 此在训练时要将原始数据规范到 ［0，1］区间，通常采用标准的归一方法来实现。但是规范后的每个输出 的教师值序列中至少有一个值为0，一个值为 1，恰好是 S 形函数的极小值和极大值，要求联接权足够大 才能使网络的输出值与其匹配，从而需要相当多的训练次数来不断修正权值，导致训练速度缓慢。为避免 这种现象，一些文献建议将教师值进行线性规范化至某一区间内 ，如文献 提出按 ［5，6］ ［6］ y′=y/(y +y ) (1) max min 进行处理。这样做可以加快网络学习速度，但是，在进行预报时，由于 S 形函数的值域为［0，1］，因而 预报值y′≤1，即y/ (y +y )≤1,反规格化后得y≤y +y 。可知，预报值y 总是小于或等于原数列中的 max min max min 最大值与最小值之和，当y =0 时，y≤y ，即预报值y 将不可能超过原数列中的最大值，这无疑将预报 min max 值限定在某一数值范围内，大大限制了BP 模型预测能力的发挥。本文建议采用非线性规格化数据的方法， 特别是针对坝体沉降的特点，提出采用函数