BP网络过拟合现象满足的不确定关系新的改进式3.PDF

第 2 1 卷第 4 期 红 外 与 毫 米 波 学 报 Vol . 2 1 , No . 4 2002 年 8 月 J . Infrared Millim . Waves August ,2002 BP 网络过拟合现象满足的不确定关系新的改进式 李祚泳1) 　彭荔红2) (1) 成都信息工程学院 ,四川 ,成都 ,6 1004 1 ;2) 厦门大学环境科学研究中心 ,福建 ,厦门,36 1005) 摘要 　类比信息传递过程中的一般测不准关系式 , 引进表征问题复杂性的函数复相关系数 R 和代表网络结构特 性的隐节点数 h , 揭示了B P 网络过拟合现象出现时的网络学习能力与推广能力之间满足的不确定关系式 ;通过模 拟了 12 种不同类型复杂程度函数的过拟合数值试验 ,确定出关系式中的过拟合参数 p 的取值范围已缩小为 1 × 10 - 5 ～5 ×10 - 4 ;给出应用 B P 网络对给定样本集的训练过程中 ,判断出现过拟合现象的方法. 关键词 　B P 网络 ,过拟合 ,学习能力 ,推广能力 ,不确定关系. NEW IMPROVEMENT OF UNCERTAINTY RELATION SUITED TO OVERFITTING OF BP NEURAL NETWORK L I ZuoYong1) 　P EN G LiHong2) (1) Chengdu University of Information Technology , Chengdu , Sichuan 6 1004 1 , China ; 2) Res earch Center of Environment Science , Xiamen University , Xiamen , Fujian 36 1005 , China) Abstract 　Based on t he analogue of general uncertainty relation in information transmitting processes , by t he introduction of multicorrelative coefficient R to manifest t he complexity of t he function and t he hidden unit h to manifest t he com plexity of t he network structure , a general uncertainty relation between t he learning ability and t he generalization ability suited to overfitting of B P neural network was revealed in t he modeling of B P neural network . Test s of numerical simula tion for 12 kinds of complicated function were carried out to determine t he value distribution ( 1 ×10 - 5 ～5 ×10 - 4 ) of overfitting p arameter in t he uncertainty relation . Based on