神经网络泛化增强技术研究.PDFVIP

第9卷 第 17期 2009年 9月 科 学 技 术 与 工 程 Vo1．9 No．17 Sep．2009 1671-1819(2009)17—4997-06 ScienceTechnologyandEngineering @ 2009 Sci．Tech．Engng． 神经网络泛化增强技术研究 张煜 东 吴乐南 韦 耿 (东南大学信息科学与工程学院，南京210096) 摘 要 综述和比较现有改善神经网络泛化能力的方法，特别对其中的5种实用方法进行详细的理论分析，指出各 自的优缺 点。实验中将各种方法用于函数逼近与数据分类两大领域，通过泛化能力与运行时间的对比，给 出其性能排序。发现贝叶斯 自适应正则化方法性能最好，其次是正则化法、逐步增加法、剪枝法；早期停止法速度最快，但是用于函数逼近效果不佳，只能 用于数据分类。 关键词 神经网络 泛化改进 贝叶斯自适应正则化 中图法分类号 TP301．6； 文献标志码 A 泛化 (Generalization)是指训 练后神经 网络 训练后NN的拟合曲线。其中BP网络的结构设为 (NN)对来 自同一样本集中的非训练样本给出正确 1—30—1。 输入输 出关系的能力…。由于神经网络的非参数 模型特性，使得网络的一切信息来源于训练集，导 致训练结果极不稳定，容易产生过拟合 (Overfit— ting)J，降低网络的泛化能力。 相关的文章多以网络对函数逼近作为研究对 象 J，这不够全面。因为网络的泛化能力与其类 型和转移函数等均有关。例如，BP网络按照 目的可 粗分为函数逼近、数据分类和数据聚类 3种 6]。数 据聚类不依赖 目标集，因此不会产生过拟合问题。 而函数逼近与数据分类的BP有很大区别 ：前者的 转移函数是线性函数；后者的则为 Sigmoid函数，且 神经元一般工作在 Sigmoid函数的饱和区 J。因 此，应该对这两种 BP网络逐一讨论。实验也证实 了对不同类型的NN，算法得到的结论不尽相同。 1 过拟合 (b)RBF网络M(SE=O．3069) 图1 函数逼近的过拟合现象 1．1 函数逼近 可见，由于网络过分逼近样本点，虽然可保证 图1中虚线表示正弦函数，“·”表示对正弦函 拟合 曲线与样本的误差很小，但对新数据的泛化能 数采样得到的含噪样本，实线表示对给定样本经过 力大幅降低，这是不希望看到的。 2009年 5月 18日收到 4998 科 学 技 术 与 工 程 9卷 1．2 分类 力物力，而且受物理条件限制；其次，样本增加很多 加 ：2 M 图2显示了数据分类的过拟合。其中蓝色点表 后，网络的泛化能力改善不大；第三，改善程度与样 示类型c，绿色点表示类型C，实线表示神经网络 本的噪声、网络的结构有关，而实际中噪声的种类 分类结果。 与强度均未知，故无法准确预测需要的样本数。 图2 数据分类的过拟合现象 然而这种分类界面过于复杂，虽然能够对训练 样本完美分类，但对新样本的推广能力却很差。例 如图中标注 “?”的新样本，看起来应该是C ，却被分 类为 C 。而图中虚线表示的分界面虽然简单，对 已 有样本分类不够完美，但泛化能力较强，我们也更 图3 增加样本数