基于K-L信息度量法扩展训练集和网络泛化能力的研究（Study+for+Expanding+Sample+Sets+and+Generalization+of+Neural+Networks+based+on+K-L+divergence）.pdfVIP

基于K—L信息度量法扩展训练集与网络泛化能力的研究 王伟娜，杨慧中 (江南人学，自动化研究所，无锡，214036) Emaih yhz@sytu．edu．cn 摘要：基于随机扩展训练样本集改善神经网络泛化性的方法，提出了运用K—L信息度量估计样本参数，从而提 高样本估计精度。以此方法对样本集进行有效扩充，得到新的随机扩展训练集。仿真结果证明了这种方法对提 高前馈神经网络的泛化性能有明显的改善作用。 关键词：前馈神经网络；泛化能力：高斯核密度估计；Kullback～Leibler偏差 for Setsand StudyExpandingSample of GeneralizationNeuralNetworksbasedonK-L divergence WangWeina,Yang Huizhong Institute (ResearchofAutomation,Southern Yang垃e Abstract：Basedonthemethodofrandom setsfor ofneural trainingsample expanding improvinggeneralization with IleW Kullback-Leiblerinformationmeasureis toestimatethe networks，a of approach proposed parameter tothis random setisobtained．Thesimulation method，a resultsdemonstrate samples．According expandedtraining the neural offeed-forwardnetworksthe setsis generalization usingexpandedtraininggreatlyimproved． neural words：feed-forward kemel Key networks；generalization；Gaussiandensity divergence 出了一种协方差矩阵的估计方法，应用这种方法 1引言 能比较合理地选择训练样本的随机特性，从而改善 网络的泛化性能，仿真结果证明了这种方法的有效 泛化能力是多层前向网络晟重要的性能之