基于GEP的层次有序BP神经网络优化_查本波资料.pdfVIP

２０１５ 年 ３ 月 　　　　　　　　　　　　　 广西师范学院学报：自然科学版 Ｍａｒ．２０１５ 第 ３２ 卷 第 １ 期 　　　　　 Ｊｏｕｒｎａｌ 　 ｏｆ 　 Ｇｕａｎ ｇ ｘｉ 　 Ｔｅａｃｈｅｒｓ 　 Ｅｄｕｃａｔｉｏｎ 　 Ｕｎｉｖｅｒｓｉｔ ｙ ： Ｎａｔｕｒａｌ 　 Ｓｃｉｅｎｃｅ 　 Ｅｄｉｔｉｏｎ 　 Ｖｏｌ．３２ 　 Ｎｏ．１ 文章编号： １００１ － ８７４３ （ ２０１５ ） ０１ － ００６３ － ０８ 基于 ＧＥＰ 的层次有序 ＢＰ 神经网络优化 查本波，王汝凉，罗 　 琨，曲宏锋，王 　 磊 （广西师范学院 计算机与信息工程学院，广西 南宁 ５３００２３ ） 摘 　 要： ＢＰ 神经网络（ ＢＰ － ＮＮ ）因其自适应性、容 错 性 和 较 强 的 泛 化 能 力 而 得 到 广 泛 的 研 究 及 应 用，但 在 实 际 应用中，却常常出现收敛速度慢、易陷入局部最优等问题 ． 该文的新算法利用基因表达式编程（ ＧＥＰ ）具有的良好全 局搜索能力，对神经网络结构、权值及阈值进行优化；结合反向传播算法（ ＢＰ ）的局部搜索 能 力，有 效 提 高 了 神 经 网 络的性能；针对传统 ＧＥＰ 设计神经网络会使网络结构失去层次性的问题，提出基于增加结构域染色体编码方法的 ＧＥＰ 层次有序 ＢＰ 神经网络优化算法（ ＧＥＰＯ － ＮＮ ），保证网络结构层次有序符合人脑分层处理模型：最后，通过仿 真实验对比 ＧＥＰ 和遗传算法（ ＧＡ ）对 ＢＰ 神经网络的优化性能 ． 结果表明， ＧＥＰＯ － ＮＮ 有明显的性能提高 ． 关键词：基因表达式编程； ＧＥＰ ； ＢＰ 神经网络；神经网络优化；层次有序 中图分类号： ＴＰ１８３ 　　 文献标识码： Ａ ０ 　 引 　 言 进化计算和人工神经网络都是基于自然生物理论提出的人工智能方法，由于在应用中所表现的优 越性能而成为人工智能两个重要的研究和应用领域［１］ ． 两种算法都具有通用性，广泛地应用到各种领域 的问题上 ． 又因它们特殊的结构，具有良好的并行性和非线性，很适合大规模问题的求解，因而得到更广 泛的研究和应用 ． 人工神经网络是一种模拟人脑信息处理方式的非线性自适应信息处理系统 ． 它由大量的结构和功 能相对简单的神经元相互连接而成，具有良好的自适应性、非线性、并行性和鲁棒性 ．１９４３ 年，美国心理 学家 Ｗ．Ｓ．ＭｃＣｕｌｏｃｈ 和数学家 Ｗ．Ａ．Ｐｉｔｔｓ 提出了 Ｍ － Ｐ 神经元模型； １９５８ 年， Ｒｏｓｅｎｂｌａｔｔ 提出了第 一个真正意义上的可以学习的神经网络———感知器；之后，经历了 １０ 年的低迷，到了 ２０ 世纪 ８０ 年代迎 来了 ＡＮＮｓ 研究的第二次高潮， １９８２ 年提出了 Ｈｏ ｐ ｆｉｅｌｄ 神经网络模型； １９８５ 年， Ｒｕｍｅｌａｒｔ 提出了反向 传播算法（ ＢＰ ），使 Ｈｏ ｐ ｆｉｅｌｄ 模型和多层前馈型神经网络成为用途非常广泛的神经网络模型［２］ ． 但是，随着研究和应用的深入， ＢＰ 神经网络的很多问题也就显现出来 ． 例如，神经网络的拓扑结构 和网络参数的选择问题、训练样例的选择、训练算法的选择问题等［３］ ．ＢＰ 算法从本质上看是一种梯度下 降法 ． 此种方法有较强的局部搜索能力，但收敛速度慢、易陷入局部最小值 ． 基因表达式编程［４］是葡萄牙进化生物学家 Ｆｅｒｒｅｉｒａ 借鉴生物遗传的基因表达规律，融合了遗传算 法和遗传编程的优点，在 ２０００ 年提出的一种新的进化算法 ． 它是一种随机搜索算法，不需要梯度信息， 表现出良好的全局搜索能力，并拥有比传统遗传算法和遗传编程高出 １００ 至 ６０ 　 ０００ 倍的效率［５］ ． ＥＡｓ 和 ＡＮＮｓ 都是源自于对自然生物理论的模仿，它们又有一定的互补性，近年来，这些方法表现 出融合的趋势 ． 越来越多的研究者试图结合 ＥＡｓ 和 ＡＮＮｓ 的优点［３，６］，提出高效的算法 ． 在算法的结合 实践中，也有不少的研究者对 ＧＥＰ 的算法进行了改进 ． 如王艳春提出了对遗传算子改进的动态、自适应 方法；郑志军等提出启发式变异位的选择策略 ． 本文中，为了结合 ＧＥＰ 和 ＢＰ 的全局和局部搜索能力，提出用 ＧＥＰ 先优化神经网络，再在已有网 收稿日期： ２０１５ － ０３ － １５ ＊ 基金项目：广西自然科学基金项目（ ２０１１ＧＸＮＳＦＡ０１８１６１ ） 作者简介：查本波（ １９９０－ 　 ），男，江西九江人，硕士生，研究方向：神经网络进化与算法，人工智能 ． ·６４ 　 · 　　　　　　　 广 西 师 范 学 院 学 报：自 然 科 学 版 　　　　　　　　　　　　　 第 ３２ 卷 络的基础上，使用 ＢＰ 算法进行局部搜索 ． 同时，为保证神经网络的