神经网络的学习误差函数及泛化能力_李杰.pdfVIP

第 15 卷 第 1 期 　控　制　与　决　策 2000 年 1 月 V o l. 15 N o. 1 CON TR OL 　A N D 　D E C IS ION 　 　J an. 2000 神经网络的学习误差函数及泛化能力 李　杰　韩正之 (上海交通大学智能工程研究所　200030) 摘　要　用于训练神经网络的样本点集不可避免地会受到噪声污染。利用神经网络的概率描述, 通过研 究 — 信息距离和神经网络泛化能力的关系, 构造一个新的神经网络学习误差函数。泛化能力分析和 K L 仿真结果表明了该学习误差函数的合理性。 关键词　神经网络, 泛化能力, 学习误差函数, 概率表示, — 信息距离 K L 分类号　T P 18 The L earn in g Error Fun ct ion of Neura l Network an d Its Gen era l iza t ion L i J ie, H an Z h eng z h i (Sh angh a i J iao tong U n iver sity) Abstract　T h e t ra in ing data is in ev itab ly con tam in ated w ith no ise. A t fir st th e n eu ra l n etw o rk is rep re sen ted w ith a p rob ab ility re lat ion. T h en th e K_ L in fo rm at ion d istan ce is adop ted to b e a learn ing er ro r fun ct ion , w h ich k eep s th e con sisten ce w ith th e gen era lizat ion. F in a lly th e effect iven e ss o f th e n ew . learn ing fun ct ion s is p roved th rou gh gen era lizat ion an a ly sis an d th e sim u lat ion exam p le Key words　n eu ra l n etw o rk , gen era lizat ion , learn ing er ro r fun ct ion , p rob ab ility rep re sen tat ion , K_ L in fo rm at ion d istan ce 函数的有效性。 1　引　　言 　　进入 80 年代中期, 神经网络的研究和应用开始 2　 神经网络的概率描述和 活跃