基于最大方差组合的选择性神经网络集成.pdfVIP

广西 民族大学学报 (自然科学版) 第 2O卷第 1期 JOURNALOFGUANGXIUNIVERSITY FOR NATIONALITIES VOI．2ON0．1 2014年 3月 (NaturaIScienceEdition) M ar．2O14 基 于 最 大 方 差 组 合 的选 择 性 神 经 网络 集 成 李晓静 ，赵华生 (1．广西幼儿师范高等专科学校，广西 南宁 530022； 2．广西气象减灾研究所，广西 南宁 530022) 摘 要 ：为进一步提高神经网络集成的泛化能力，提出一种基于最大方差组合的选择性神经网络集成构 造方法：首先训练 出若干神经网络个体 ，其次，利用离散人工蜂群算法对这些神经网络个体进行 组合优化 的全局搜索，选 出一个最大方差的个体组合 ，最后 ，将具有最大方差的神经网络个体使 用简单平均方法进行神经网络集成．将该模型应用与广西东南部的区域 降水预报试验 ，实验结 果表明，笔者提出的神经网络集成方法比常用的Bagging集成方法提高了8％以上，能有效地提 高神经 网络的泛化能力． 关键词：蜂群算法；神经网络集成；泛化能力；最大方差组合；预报 中图分类号：TP18 文献标识码 ：A 文章编号 ：1673—8462(2014)01--0070—05 0 引言 提高神经网路集成系统泛化能力的两个重要手段． 神经网络集成 (NeuralNetworkEnsemble)方法 为提高各集成个体间的差异程度 ，周志华 提出 是 Hansen和 Salamonu在 1990年首先提 出来 的． 了选择性 的神经网络集成．其基本思想是 ：训练好多 这种方法的基本思路是 ，首先通过某种方法训练随机 个的神经网络后 ，以某一个原则从 中选 出一部分个体 生成多个具有差异性的神经 网络个体 ，然后将个体 网 参与最后的集成．他认为，将所有训练 出来的网络个 络输出的结果以某种方式综合作为最终的结果输 出， 体都拿来参与最后集成的方法 ，并不一定能使神经网 该方法可以有效地提高学习系统的泛化性能．由于该 络集成 的泛化能力是最强的．他通过理论分析后指 方法的实现过程 比较容易，而其效果又比较 明显 ，并 出，从全部神经网络个体中选取部分神经 网络个体进 能为神经网络研究和应用 中存在的网络结构选择、过 行集成往往有助于提高整个神经网络系统 的泛化能 拟合 等问题提供了新 的解决思路 ，是一种应用神经 力．因此 ，有学者开始研究如何进行选择性集成 ，文献 网络解决实际问题的有效方法 ．1995年 ，Krogh等 [6]提出了一种基于启发式规则 的选择方法 ，即利用 发表研究论文指 出 ，神经 网络集成 的泛化性能强 精确度性能的强弱进行选择最后参与集成的个体，该 弱，与集成 中个体网络 的平均泛化误差大小成正比， 方法实现简单，但集成个体间的差异度无法保证，因 与个体间的差异度 的大小成反 比．因此，提高个体网 此所建立的神经网络集成也没有有效的提高集成系 络的泛化能力和增大集成 中各 网络之间的差异性是 统的泛化能力． * 收稿 日期 ：2013一10—25． 基金项 目：广西青年基金项 目(2013GXNSFBA019227)；国家 自然科学基金项 目． 作者简介：李晓静(1982一)，河南许 昌人，广西幼儿师范高等专科学校教师，研究方向：数据挖据及人工智能 ， 70 2014年第 1期