BP神经网络预测中“过拟合”现象控制的研究.pdfVIP

BP神经网络预测中“过拟合”现象控制的研究.pdf

  1. 1、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。。
  2. 2、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载
  3. 3、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
  4. 4、该文档为VIP文档,如果想要下载,成为VIP会员后,下载免费。
  5. 5、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问请联系我们
  6. 6、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
  7. 7、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多
BP 神经网络预测中“过拟合”现象控制研究1 杨锡鎏,周翠英 中山大学工学院岩土工程与信息技术研究中心,广州(510275) Email :zhoucy@ 摘 要:针对BP 神经网络在预测建模中存在的“过拟合” 问题,改进了前人定义的逼近误差 表达式,使其物理意义更明确;重新定义了逼近度的表达式,使之更能量化反映BP 神经网 络的逼近程度并用于控制“过拟合” 问题。将改进后的逼近度控制方法应用于广东某隧道的代 表性断面的围岩位移预测中,并与用前人方法预测的结果进行了对比,表明改进后的逼近度 控制方法,物理意义明确,预测结果较为理想,具有较好的工程实用价值。 关键词:BP 网络,预测,过拟合,逼近度,隧道围岩位移 中图分类号:TP18 文献标识码:A 1. 引言 标准 BP 网络的训练准则是要求所有样本的期望值与输出值的误差平方和(或者说是拟 合误差)小于给定的足够小的允许误差ε 。一般,ε越小拟合精度越高,网络的预测精度也 越高。但实际应用表明:随着拟合误差的减小,开始预测误差也随着减小,但随着拟合误差 减小到某个值以后,预测误差反而增大,说明泛化能力降低。此即为 BP 网络建模过程中遇 [1] 到的“过拟合”现象 。 Minds 和 Hall[2]最先提出神经网络中的“过拟合” 问题,他们发现将已训练好的神经网络 用于降雨径流预测时,当检验样本的洪峰值超过训练样本的最大值,该神经网络模型不能在 要求的检验标准下预测洪峰值。近年来,不少学者已针对神经网络的“过拟合” 问题开展了相 关研究。Hsu 等[3]建议将训练样本先采用对数形式进行转化,再用于神经网络的训练,这样 可以减小资料中大、小值之间的差距;Moody[4]研究了泛化误差与训练集误差之间的关系, 提出了实值神经网络结构设计的 Moody 准则;Amari 等[5]研究了交叉测试法中测试样本数占 总样本数比例对神经网络泛化能力的影响;覃光华[6]从训练样本的选取与构造上入手,为充 [7]探讨了有 分利用信息,提出择优检验法和加权检验两种手段改善“过拟合” 问题;李俭川等 [8] 效解决“过拟合” 问题的三种方法:调整法、提前停止法和隐层节点自生成法;李祚泳等 建 立了 BP 网络过拟合时,反映网络学习能力与泛化能力之间的定量关系式;刘平等[9]定义了 逼近误差和逼近度作为表述神经网络逼近规律程度和用于控制“过拟合” 的定量指标。 本文在刘平等人研究的基础上,修正了逼近误差的表达式,使其物理意义更明确;重新 定义了逼近度的表达式,使之更能量化反映 BP 神经网络的逼近程度并用于控制“过拟合” 问 题。最后,以广东某高速公路工程的隧道围岩为研究对象,分别采用刘平等[9]提出的逼近度 控制方法和本文改进后的逼近度控制方法建立BP 网络位移预测模型对该隧道代表性断面的 围岩位移进行预测。通过比较两种模型的预测结果与实测值的相对误差,表明改进后的逼近 度控制方法,物理意义更明确,预测结果较为理想,可满足工程实际要求。 2. BP 神经网络过拟合的控制 1基金项目:中国高技术研究发展计划(2007AA11Z112);国家自然科学基金资助项目40672194); 高等学校博士学科点基金项目(20060558060);广东省自然科学基金重点项目(013188 - 1 - BP 神经网络按输入层、隐含层和输出层的层次结构构造(如图 1),通过误差反向传 播学习算法对样本进行学习训练,在学习过程中不断修正连接网络的权值和阈值,最后的权 值和阈值与传递函数的结合在给定的允许误差内将逼近训练样本的输

文档评论(0)

wq640326 + 关注
实名认证
文档贡献者

该用户很懒,什么也没介绍

1亿VIP精品文档

相关文档