BP 神经网络预测中过拟合现象控制研究1.doc

BP 神经网络预测中“过拟合”现象控制研究1杨锡鎏，周翠英 中山大学工学院岩土工程与信息技术研究中心，广州(510275) Email HYPERLINK mailto:zhoucy@mail.sysu.edu.cn ：zhoucy@mail.sysu.edu.cn摘 要：针对 BP 神经网络在预测建模中存在的“过拟合”问题，改进了前人定义的逼近误差 表达式，使其物理意义更明确；重新定义了逼近度的表达式，使之更能量化反映 BP 神经网 络的逼近程度并用于控制“过拟合”问题。将改进后的逼近度控制方法应用于广东某隧道的代 表性断面的围岩位移预测中，并与用前人方法预测的结果进行了对比，表明改进后的逼近度 控制方法，物理意义明确，预测结果较为理想，具有较好的工程实用价值。关键词：BP 网络，预测，过拟合，逼近度，隧道围岩位移 中图分类号：TP18 文献标识码：A1. 引言标准 BP 网络的训练准则是要求所有样本的期望值与输出值的误差平方和（或者说是拟 合误差）小于给定的足够小的允许误差ε 。一般，ε 越小拟合精度越高，网络的预测精度也 越高。但实际应用表明：随着拟合误差的减小，开始预测误差也随着减小，但随着拟合误差 减小到某个值以后，预测误差反而增大，说明泛化能力降低。此即为 BP 网络建模过程中遇 到的“过拟合”现象[1]。Minds 和 Hall[2]最先提出神经网络中的“过拟合”问题，他们发现将已训练好的神经网络 用于降雨径流预测时，当检验样本的洪峰值超过训练样本的最大值，该神经网络模型不能在 要求的检验标准下预测洪峰值。近年来，不少学者已针对神经网络的“过拟合”问题开展了相 关研究。Hsu 等[3]建议将训练样本先采用对数形式进行转化，再用于神经网络的训练，这样 可以减小资料中大、小值之间的差距；Moody[4]研究了泛化误差与训练集误差之间的关系， 提出了实值神经网络结构设计的 Moody 准则；Amari 等[5]研究了交叉测试法中测试样本数占 总样本数比例对神经网络泛化能力的影响；覃光华[6]从训练样本的选取与构造上入手，为充 分利用信息，提出择优检验法和加权检验两种手段改善“过拟合”问题；李俭川等[7]探讨了有 效解决“过拟合”问题的三种方法：调整法、提前停止法和隐层节点自生成法；李祚泳等[8]建 立了 BP 网络过拟合时，反映网络学习能力与泛化能力之间的定量关系式；刘平等[9]定义了 逼近误差和逼近度作为表述神经网络逼近规律程度和用于控制“过拟合”的定量指标。本文在刘平等人研究的基础上，修正了逼近误差的表达式，使其物理意义更明确；重新 定义了逼近度的表达式，使之更能量化反映 BP 神经网络的逼近程度并用于控制“过拟合”问 题。最后，以广东某高速公路工程的隧道围岩为研究对象，分别采用刘平等[9]提出的逼近度 控制方法和本文改进后的逼近度控制方法建立 BP 网络位移预测模型对该隧道代表性断面的 围岩位移进行预测。通过比较两种模型的预测结果与实测值的相对误差，表明改进后的逼近 度控制方法，物理意义更明确，预测结果较为理想，可满足工程实际要求。2. BP 神经网络过拟合的控制1基金项目：中国高技术研究发展计划(2007AA11Z112)；国家自然科学基金资助项目40672194)； 高等学校博士学科点基金项目(20060558060)；广东省自然科学基金重点项目(013188BP 神经网络按输入层、隐含层和输出层的层次结构构造（如图 1），通过误差反向传播学习算法对样本进行学习训练，在学习过程中不断修正连接网络的权值和阈值，最后的权 值和阈值与传递函数的结合在给定的允许误差内将逼近训练样本的输入到输出的映射关系。 合理地选择训练样本和有效的训练算法，能使网络正确逼近非训练样本的输入输出映射关 系，这称为网络的推广（泛化）能力。我们正是利用这种网络的泛化能力来解决实际应用中 的问题。但如果给定的 允许误差过小，网 络就会训练过度，泛化 能力反而降低，出 现“过拟合”现象。图1 BP网络模型结构【10】Fig.1 Structure of BP network model刘平等[9]为了较好地定量描述人工神经网络逼近规律的程度和控制“过拟合”问题，将已 知样本分成训练样本和监控样本两部分，后者不参加学习训练但参与对训练的监控和测试网 络的泛化能力。把训练样本输入到 BP 网络模型进行训练，当训练到一定程度后，用此时的 权值和阈值对监控样本进行预测可得到监控样本的监控误差。结合训练样本的训练误差和监 控样本的监控误差，定义了：① 逼近误差： en = (n1n)e1 + (ncn)ec + e1 ? ec其中 en 为逼近误差； e1 为训练样本的平均相对误差绝对值； ec 为监控